지난해 6월, 중국과학원 컴퓨팅(CAS) 기술 연구소와 홍콩 시립대 연구팀이 단순한 스케치만으로 정밀한 초상화 사진으로 변환해주는 AI 소프트웨어(SW) 프로그램인 ‘딥페이스드로잉(DeepFaceDrawing)’을 개발했다고 밝혔다.

딥페이스드로잉은 불완전한 스케치를 정밀한 사진 이미지로 전환해주는 프로그램으로 확률에 작용하는 것이 특징이다. 기본적인 이목구비만을 그려도 눈꺼풀, 입술 모양, 치아, 눈동자, 눈썹 심지어는 코 주변 명암이나 굴곡까지 재현한다. 예를 들어 이목구비를 그리면 데이터베이스(DB)를 참조해 얼굴의 각 구성요소가 어떻게 작용하는지 고려되며 얼굴형, 눈, 코, 입 등 따로 고려된 후 하나의 사진으로 완성된다.

이 시스템은 내장 모듈과 특성화 맵핑, 사진 합성 3가지 모듈로 이뤄져 있다. 내장 모듈에는 자동 인코딩 아키텍처와 학습할 5가지 특징을 갖고 있다. 양쪽 눈 외에 코와 입, 스케치 알림으로 나누어져 있어 5개 슬라이더로 조정이 가능하다.

2개의 캔버스로 구성되어 있으며 왼쪽 캔버스에 선을 그을 때마다 사진 윤곽이 점점 선명해지고 대략적인 인물이 완성되면 눈코입 요소가 조정된다.

논문은 “자유로운 손 스케치로부터 빠르게 얼굴 이미지를 생성할 수 있게 해주고 있다. 우리의 방법은 기본적으로 부드러운 입력 스케치를 제약 조건으로 사용하므로 거칠거나 불완전한 스케치에서도 고품질의 얼굴 이미지를 만들 수 있다”고 설명한다.

다만 이 기술은 인종을 확인할 수 없다는 점이 한계이자 개선점이다. 연구원이 지금까지 만든 1만 7,000여 점의 스케치와 이에 상응하는 사진들 대부분은 백인과 남미인의 얼굴이다. AI의 인종 편향성의 문제가 나타날 수 있다는 분석도 나오고 있다. 연구팀 측은 현재 정면 사진만 재현 가능하며 향후 개선될 것이라 밝혔다.

구현 속도가 실시간에 가까울 정도로 빠르다는 것도 특징이다.

이를 활용해 범죄자 몽타주 등 다방면으로 활용될 전망이라 밝혔다. 몽타주 특성상 찰나의 기억으로 그려져 제대로 그려내기엔 부족한 부분이 있는데 해당 기술을 통해 간단한 스케치나 특징적인 이목구비만으로 완전한 초상화를 완성할 수 있게 된다.

안면 인식 기술이 인종 차별을 조장한다는 비판에 아마존(Amazon)이나 마이크로소프트(MS) 등 유럽이나 미국의 기업들이 기술 개발을 중단하거나 포기하는 와중에 중국은 안면 인식 개발에 박차를 가하고 있다.

코로나 19를 극복하기 위한 수단으로 인공지능(AI)을 접목한 안면 인식 기술로 지목했다. 현재 마스크를 착용한 사람의 얼굴까지도 구분하는 등 기술과 적용 대상까지도 확대되고 있어 귀추가 주목된다.

한편, 이 기술은 지난해 온라인에서 진행된 컴퓨터 그래픽 분야 국제학술대회 '시그라프(SIGGRAPH)' 컨퍼런스에서 해당 기술을 선보이며 큰 호응을 얻었다.

해당 기술이 더 궁금하다면 아래 유튜브 영상을 참고할 수 있다.