인공지능의 눈, 컴퓨터 비전 - 홍익대교지편집위원회

사람의 눈만큼 완벽한 것이 또 있을까? 인간은 ‘카메라’라는 물리적 기계를 통해 인간의 눈과 닮은 새로운 시각 시스템을 창조했다. 하지만, 여전히 우리가 보는 것과 카메라에 찍힌 사진은 괴리감이 있다. 사람의 얼굴에서 내면의 감정을 가장 잘 드러낼 수 있는 눈. 표정의 핵심적인 역할을 하기도, 세상을 인식하고 재단하는 역할을 하기도 한다. 이렇게 인간의 눈을 구현하고자 하는 컴퓨터의 눈이 바라보는 세상은 어떨까. 그들은 사람의 얼굴을 보고, 새롭게 생성하기도 한다,

이미 컴퓨터 비전 분야는 상상 그 이상으로 우리 생활에 만연한 기술이다. 지금 손에 들고 있는 핸드폰, 자율주행 자동차, 보안 장치 등 우린 이미 컴퓨터의 눈이 감시하는 사회에 살고 있다. 그렇다면, 컴퓨터 비전의 현주소는 어떨까.

컴퓨터 비전이란?

컴퓨터 비전은 딥러닝과 인공지능 기술이 발전함에 따라 최근 들어 엄청난 속도로 발전하고 있는 분야다. 모든 인공지능의 핵심적인 메커니즘은 인공지능 자신이 마주하고 있는 현실을 인식하고, 인식한 데이터를 바탕으로 주어진 일을 수행하는 것이다. 이때, 컴퓨터 비전은 간단하게 말해서 주어진 환경에 대한 ‘시각적 인지’를 통해 사물이나 대상을 인식하고 구별한다. 그리고 이를 바탕으로 명령에 따른 일을 수행하는 시스템을 구축하는 분야를 일컫는다. 주의해야 할 점은, 시각적 인지를 단순히 주변 환경을 사진 찍듯 훑어보는 것으로 착각해서는 안 된다는 것이다. 입력된 데이터를 통해 환경 자체에 대한 실질적인 주변 인지까지 가능해야 시각적 인지 기능을 갖추었다고 말할 수 있기 때문이다.

이렇게 컴퓨터 비전은 크게 시각적 인지를 위한 감지장치와, 인지를 통해 받아들인 데이터를 해석하고 분류해 줄 해석 장치를 거치는 과정으로 나누어 볼 수 있다.

먼저 감지 장치는 CT 스캔, 카메라, 레이더, 엑스레이, 라이다 등 필요에 따른 기술 장치들의 조합을 통해 구성하면 된다. 분야에 따라 필요한 감지 장치에 차이가 생기는데, 만약 교통 표지판 식별을 원한다면 카메라를, 의료 분석을 원한다면 CT 스캔이나 엑스레이를, 사람의 눈으로 감지할 수 없는 영역의 시각 자료를 구해야 하는 상황이라면 라이다 혹은 레이더를 사용하면 된다.

이렇게 감지 장치를 통해 원하는 시각 자료에 대한 시각적 인지를 마쳤다면 이제부터는 잘 짜인 컴퓨터 알고리즘을 통해 원하는 정보를 추출하면 된다. 해석 장치는 감지 장치를 통해 받아들인 시각 데이터를 통해 특징과 패턴을 학습한다. 언뜻 보면 이 일련의 과정이 사람의 뉴런과 동일한 것처럼 느껴진다. 사실, 해석 장치의 핵심 메커니즘은 사람의 뇌와 매우 유사한 ‘인공 신경망’에 있다. 우리 몸에 있는 뉴런과 유사한 방식으로 작동하는 인공 뉴런을 다층으로 복잡하게 연결하여 딥러닝 기술을 만들어 낸 것이 바로 인공 신경망이기 때문이다. 인공지능 분야에서 딥러닝이 발전함에 따라 컴퓨터 비전의 성능 또한 압도적으로 성장할 수 있었다.

인공지능으로 사람의 얼굴 바라보기

4차 산업혁명 시대를 살다보면 컴퓨터로 이루어진 인공지능 로봇, 혹은 전자기기가 사람들의 감정을 읽고, 위로를 건네주는 상황이 발생하기도 한다. 과연 인공지능은 어떻게 사람의 표정을 보고 감정을 도출하며, 우리에게 적절한 위로를 건넬 수 있는 걸까? ‘감정이 학습되는 것’이 가능한 일일까? 인공지능은 감정을 느끼고 표현할 수 있을까?

사실 컴퓨터 비전 분야에서 인공지능이 정밀한 눈으로 사람의 감정을 직접 읽어내는 것이냐고 묻는다면 그에 대한 대답은 ‘아니오’가 될 것이다. 컴퓨터 비전은 사람의 다양한 감정에 따른 얼굴 이미지를 앞서 언급했던 딥러닝 방식을 통해 수백만 장 이상 학습한다.

컴퓨터가 인간의 얼굴을 어떻게 인식하는지 대략적으로 알아보자.

먼저 컴퓨터 비전 알고리즘은 입력된 이미지 혹은 동영상과 같은 데이터를 받아들이고 나서 이미지를 표준화하고 색 변환과 같은 전처리 과정에 돌입한다. 이후 이미지와 이미지 사이에서 뚜렷하게 구별되는 특징을 추출하는 과정을 거친다. 인공지능은 이때 선별한 특징들을 중점적으로 학습하고 딥러닝을 통해 대상을 예측하거나 분류할 수 있게 되는 것이다.

예를 들어 사람의 웃는 얼굴에 대한 이미지를 컴퓨터에 입력했다고 가정하자. 아래 놓인 사진이 지금 컴퓨터가 받아들인 데이터이다.

색에 관한 정보도 마찬가지로 RGB 3요소에 대한 3차원 행렬의 데이터 뭉치로 표현되기 때문에 컴퓨터가 받아들이는 이미지 데이터는 사람이 보는 이미지와는 완전히 다른 체계임을 이해할 수 있다. 정리하자면 컴퓨터는 이미지를 행렬이라는 숫자 집합으로 변환한 후 받아들인다. 변환 시에는 이미지 강화 기법을 통해 색과 질감은 제거하여 픽셀 수를 줄인 후 데이터의 용량을 가볍게 만든다. 이때 특징 추출을 위해 모서리를 강조하거나 이미지 자체를 반사, 회전시킨 데이터까지 준비해 둔다.

모든 데이터 세팅이 끝났다면 이제부터는 데이터로부터 “특징”을 추출할 차례다.

여기서 말하는 특징은 주어진 이미지 데이터에서 가장 두드러지는 특정 대상에 해당하며, 측정할 수 있어야 한다는 두 가지 요건을 갖춰야 한다. 머신러닝과 딥러닝 과정에서 좋은 결과를 얻기 위해서는 좋은 특징을 선택해야 한다. 다른 대상과 명확히 구별되어야 하고, 추적과 비교과 쉬우며 배율/밝기/각도가 달라도 일관적이어야 한다. 또, 노이즈가 많이 포함된 이미지나 대상의 일부만 있는 이미지에서도 관찰할 수 있어야 좋은 특징이라고 할 수 있다. 아래는 위의 사진에서 추출해 볼 수 있는 특징이다.

이런 방법으로 특징을 추출한 후 반복되는 이미지를 수천 장~수백만 장 학습하게 될 때, 사람의 이목구비를 인식할 수 있게 되고, 다양한 표정 중에서도 웃는 얼굴의 웃는 입꼬리의 형태를 학습했다면 “웃음”에 대해 정의할 수 있게 되는 것이다. 사람에게는 이미지를 있는 그대로 보는 것이 매우 간단한 일이지만, 컴퓨터 입장에서는 불필요한 데이터 값이 많은 상황이기 때문에 중점적으로 식별해야 하는 특징을 추출하는 과정이 필수적이다. 이때 특징은 사람이 직접 추출하는 방식인 기존의 머신러닝 방법으로 추출해도 되고, 합성곱 신경망과 같은 발전된 기술을 사용해 인공지능이 알아서 특징을 추출하도록 하는 방법을 선택해도 된다.

이렇게 특징을 다 추출했다면 마지막 과정으로 SVM, CNN과 같은 알고리즘을 통해 예측 결과 레이블을 출력하면 된다. 완전한 설명은 아니겠지만 위의 사진을 예시로 든다면, 레이블에는 ‘이 사람은 웃고 있다’와 ‘웃고 있지 않다’라는 두 개의 층을 만들 수 있고 알고리즘을 통해 입력한 이미지가 어느 층위에 속하는지 판별할 수 있게 되는 것이다.

물론 인공지능 알고리즘의 발전 정도와 입력되는 데이터의 종류에 따라서도 컴퓨터 비전의 인식 과정은 다양하게 구성된다. 이미 높은 수준의 안면인식 기술은 앞서 설명한 내용보다 훨씬 더 복잡한 메커니즘을 가지기도 하지만, 대략적인 과정 설명을 통해 컴퓨터가 사람의 얼굴을 어떻게 읽어내고 분류하는지 알아보았다.

인공지능이 그리는 사람의 표정

최근 배포된 Chat GPT의 영향으로 인해 ‘생성형 모델’에 대한 연구가 폭발적으로 성장 중이다, 이전까지는 컴퓨터 비전 분야에서 주로 ‘인식’ 기술을 다루었다면, 최근에는 생성형 인공지능의 발전으로 인해 stable diffusion2, DALL-E 모델과 같은 이미지 생성형 인공지능이 대거 등장하게 되면서 컴퓨터 비전의 인식 기술 대신 이미지 생성 분야가 선도 분야로 자리매김하게 되었다. 2D 이미지를 넘어 3D와 영상 생성형 인공지능에 관한 연구도 활발히 진행 중이다.

인공지능이 그리는 여러 그림은 크게 두 가지 유형으로 분류해 볼 수 있다. 첫째는 이미 있는 이미지를 변형시키는 방식이다. 두 번째 방식은 아예 새로운 이미지를 생성하는 것이다. 지금부터 이 두 유형에 대해 구체적으로 알아보자.

1. 화풍 모방과 이미지 변형

이미 화풍 모방이라는 단어를 썼기 때문에 아래 두 사진 중 하나는 가짜라는 것을 짐작해 볼 수 있을 것으로 생각한다. 그렇다면 둘 중 어느 그림이 가짜일까? 아마도 구별해 내기 쉽지 않을 것이다. 둘 다 비슷한 화풍을 바탕으로 잘 그린 그림이기 때문이다.

정답을 이야기하자면 왼쪽이 빛의 화가라 불리는 렘브란트가 그린 초상화이며, 오른쪽이 <넥스트 렘브란트> 프로젝트에 사용된 인공지능이 그린 그림이다. 화풍 모방 기술은 이미 존재하는 사진에 화풍을 적용하여 사진을 회화로 변형시키는 방식으로 사용될 수 있고, 또 한편으로는 아예 죽은 작가가 살아 돌아온 것처럼 생전 화가의 화풍을 바탕으로 새로운 그림을 그리는 방식으로도 사용될 수 있다.

2. 이미지 생성 AI를 통해 이미지 얻기

위 사진은 필자가 생성 인공지능의 프롬프트에 각각 “슬픈 얼굴”, 과 “웃는 얼굴”이라는 명령어를 넣고 얻은 이미지이다. 아직은 어색한 면이 드러나기는 하지만 실제로 표현하기 어려운 사람의 감정이 담긴 얼굴을 고작 몇 초 만에 생성했다는 점에서 놀라운 기술이라고 볼 수 있다.

이렇게 무에서 유를 창조하는 듯한 이미지 생성 기술은 GAN이라고 불리는 새로운 딥러닝 모델에 의해 가능해졌다. 앞서 대략적인 컴퓨터 비전의 메커니즘에 관해 설명할 때, 마지막 단계인 레이블 출력 과정에서 CNN과 같은 알고리즘을 사용한다고 간략하게 언급했다. GAN은 CNN을 발전시키고 변형시켜 만든 모델로, 이전에는 불가능했던 완전히 새로운 이미지를 생성할 수 있다는 점에서 큰 충격을 가져다준 기술이다. 이런 GAN 모델을 변형시켜 현재 많은 이미지 생성형 인공지능이 발전하고 있다.

GAN이 어떤 방식으로 새로운 이미지를 생성하는지에 대해 텍스트로 설명하는 것은 불가능하다. 그만큼 매우 복잡한 체계로 짜인 알고리즘이기 때문이다. 다만, 앞으로 GAN보다 더 복잡하고 쉽게 이해하기 불가능한 모델이 많이 쏟아질 것이다. 기술이 더 발전한다면 어떤 텍스트를 입력하더라도 단순한 이미지 이상으로의 다양한 매체로의 변환이 보다 더 자유로울 것이다. 여태껏 컴퓨터가 쉽게 그려내지 못했던 사람의 손가락과 세밀한 얼굴 근육 표현이 빅데이터를 통한 학습으로 점차 자연스러워지도록 보완되고 있다. 이런 생성형 인공지능의 발전이 계속됨에 따라 저작권 문제는 물론 예술의 영역까지 인공지능이 침범할 수 있기에 컴퓨터 비전의 이미지 생성 분야는 잡음이 끊이지 않고 있다.

지금까지 컴퓨터 비전에 관해 알아보았다. 일련의 과정을 통해 알아챌 수 있는 한 가지 사실은, 컴퓨터는 인간 눈의 능력은 능가할 수 있지만, 그렇다고 해서 사람의 표정을 진심으로 읽어내고, 감정을 담아 사람의 얼굴을 그리지는 못한다는 점이다. 컴퓨터는 인간이 만든 복잡한 알고리즘을 이용해 주어진 데이터 값을 일정한 처리 과정을 통해 가공할 뿐이다.

최수경 waterglasses02@naver.com

트윗하기