테크 포커스

전 세계적으로 딥페이크 콘텐츠가 유행처럼 번지고 있습니다. 단순히 재미와 유머를 목적으로 만들기도 하지만, 정치·사회 영역에서 가짜 뉴스를 퍼트려 혼란을 유발하거나 특정 인물을 음해하는 등 부작용을 초래하기도 합니다. 우려와 기대를 동시에 받고 있는 딥페이크는 과연 어떤 기술로 진짜 같은 가짜를 만들어내는 걸까요.

딥페이크^Deepfake는 인공지능^AI 기술인 딥러닝^{Deep Learning}과 ‘가짜’를 의미하는 페이크^Fake의 합성어로, AI를 활용해 만든 진짜 같은 가짜 이미지나 영상물을 말합니다. 원본 이미지나 동영상 위에 다른 영상을 중첩하여 가공하거나 새로운 콘텐츠를 생산합니다.

딥페이크라는 단어는 2017년에 등장했습니다. 미국의 커뮤니티 사이트인 레딧^Reddit의 한 이용자(닉네임이 deepfake)가 기존 영상의 얼굴을 유명인의 얼굴로 바꿔 가짜 동영상을 올린 데서 유래했습니다. 이후 AI를 활용해 실제처럼 보이도록 만든 비디오, 사진, 오디오가 온라인 커뮤니티와 SNS를 중심으로 빠르게 퍼졌습니다.

진짜 같은 가짜 만드는 알고리즘 ‘GAN’

그렇다면 딥페이크는 어떻게 만들어질까요? 딥페이크에 활용되는 AI에는 ‘생산적 적대 신경망^{GAN, Generative Adversarial
Network}’이라는 핵심 기술이 있습니다. 이는 한 개의 신경망^Network을 학습시켜 활용하는 기존 방법과 달리, 두 개의 신경망 모델을 통해 서로 경쟁하면서 더 나은 결과물을 만들어내는 강화 학습 방식의 AI 기술입니다. 생산 모델과 감별 모델이 상반된 목적을 갖고 공존합니다.

먼저 생산 모델이 실제 데이터를 학습하여 진짜 같은 가짜 데이터를 생산^Generative합니다. 실제에 가까운 거짓 데이터를 생산하는 게 목적입니다. 감별 모델은 생산 모델이 만든 데이터가 진짜인지 가짜인지 판별하도록 학습합니다. 생산 모델의 가짜 데이터에 놀아나지 않는 게 목적입니다. 이 과정에서 서로를 ‘적대적^Adversarial 경쟁자’로 인식해 상호 발전하고, 점점 더 실제에 가까운 거짓 데이터를 만들어냅니다. 즉 생산자와 판별자가 서로 대립하며 서로의 성능을 점차 개선해 나가는 쪽으로 학습이 진행된다는 개념입니다.

GAN은 2014년 미국의 컴퓨터 과학자 이안 굿펠로우^{Ian Goodfellow}가 처음 소개한 머신러닝 기술입니다. 그는 GAN 기술을 ‘위조지폐범(생산 모델)’과 ‘경찰(감별 모델)’에 비유했습니다.

위조지폐범은 진짜 지폐(실제 데이터)를 바탕으로 더욱 정교하게 가짜 지폐(가짜 데이터)를 만들려고 노력(학습)하고, 경찰은 가짜 지폐와 진짜 지폐를 비교하며 가짜 지폐를 더 정확하게 감별하고자 노력(학습)합니다. 이렇게 서로 만들고 판별하는 과정이 더해질수록 가짜 지폐는 점점 진짜 지폐와 비슷해진다는 것입니다.

GAN, 가상세계를 더욱 실감나게 만드는 게 목적

GAN은 사실 가상 이미지를 현실적인 질감으로 구현하기 위해 개발된 기술입니다. 비디오게임 디자인, 가상현실^VR, 애니메이션 분야에서 기존 방법으로는 해결하기 힘든 질감의 영상이나 이미지를 정교하게 편집하고, 보다 실감나는 콘텐츠를 제작하고, 손상된 영상을 복원하기 위함이 목적입니다.

GAN 기술이 등장하면서 가상세계의 영상이나 이미지의 질이 점점 높아졌습니다. 초기에는 손 모양이 부자연스럽거나 얼굴 윤곽선이 뭉개지는 등의 한계가 존재했지만 점점 판별하기 어려워졌습니다. 최근엔 사람의 피부는 물론 머리카락까지 실제와 똑같은 이미지를 생산하는 수준까지 도달했습니다.

기술적 측면에서 볼 때 GAN은 산업적으로 활용성이 다양한 기술입니다. 뉴욕대 쿠란트 수학연구소 교수이자 메타^Meta의 AI 연구팀 리더인 얀 르쿤^{Yann LeCun}이 ‘최근 10년간 머신러닝 연구 중 가장 혁신적인 아이디어로 GAN’을 꼽았을 만큼 가치 있는 기술입니다. 대부분의 AI 연구는 인간이 정제한 데이터를 바탕으로 학습하는 방식의 지도 학습으로 이뤄집니다. 반면 GAN은 지도 학습에서 벗어나 스스로 답을 찾는 비지도 학습 방식을 사용합니다. 이 때문에 GAN은 AI 연구의 새로운 장을 열었다는 평가를 받고 있습니다.

GAN 기술은 사람이 어떻게 사용하느냐에 따라 나쁘게도 쓰일 수 있고 좋게도 쓰일 수 있습니다. 그러나 최근엔 테러나 가짜 뉴스 등 악용에 무게가 더 실리고 있는 상황입니다. 사람들은 오히려 AI가 합성한 가짜를 더 신뢰한다는 미국 UC버클리대와 영국 랭카스터대 공동 연구팀의 실험 결과도 발표된 바 있습니다. 결국 딥페이크 사건의 본질은 기술 그 자체가 아니라 그것을 악용하는 인간의 의도에 있다고 할 수 있습니다.

딥페이크 기술을 활용한 사례들

딥페이크는 일반인도 쉽게 만들 수 있습니다. 오픈소스 형태의 애플리케이션들이 등장했기 때문입니다. 구글·애플 앱스토어에서 ‘딥페이크’를 검색하면 사진 몇 장만으로 원하는 움직임을 구현할 수 있는 관련 앱이 수두룩합니다. 현재 가장 많이 사용되는 딥페이크 합성 앱은 가상 인간 얼굴을 제작하는 ‘페이스 제너레이션^{Face Generation}’, 원하는 얼굴 등 신체 일부를 교체하는 ‘페이스 스왑^{Face Swap}’ 등입니다. 또 전 세계에서 1억5000만 명 이상이 사용하는 ‘리페이스’ 같은 앱은 워터마크^Watermark 없는 딥페이크 이미지를 만들어냅니다. 워터마크는 진본을 확인하거나 위조, 불법 복제를 방지하기 위해 삽입하는 물리적 표식입니다. 이러한 앱들을 통해 딥페이크는 갈수록 더 교묘해지고, 그에 따른 인권침해는 더욱 늘고 있습니다.

반면 영화, 게임, 광고 등에서는 본래의 목적에 맞는 딥페이크로 현실감 있는 특수효과와 캐릭터를 만들어내는 사례도 많습니다. 영화 <스타워즈: 라이즈 오브 스카이워커>에서는 고인이 된 배우 캐리 피셔의 젊은 시절 모습을 딥페이크로 재현해 자연스러운 연기를 연출했습니다.

국가보훈부와 빙그레가 지난 8월 한 달간 진행한 ‘처음 입는 광복’ 캠페인. 옥중에서 순국한 독립유공자 87명에게 AI 기술을 활용해 수의 대신 한복을 입은 모습으로 변신시켰다.

의료 분야에서는 2019년 7월 독일 뤼벡대 의료정보학연구소에서 GAN 기술을 이용해 다양한 암의 징후와 이상 신호를 탐지할 수 있는, MRI나 CT와 같은 질병 진단용 AI를 개발했습니다. 이를 통해 가상의 데이터를 생산해 환자의 질병을 진단하고, 의사가 복잡한 수술을 시뮬레이션하거나 환자의 상태를 시각화할 수 있습니다. 암 환자의 데이터는 개인 정보라서 구하기가 어렵고, 실제 MRI나 CT로 3D 이미지를 생산하는 데는 비용이 많이 듭니다.
교육 목적으로도 딥페이크가 활용됩니다. 지난 8월, 제79주년 광복절을 맞아 국내 기업 빙그레와 국가보훈부는 안중근, 유관순 등의 독립운동가 87명에게 빛바랜 죄수복 대신 한국의 전통 의복인 빛 고운 한복을 입힌 딥페이크 영상을 만들었습니다. 단순히 과거 사진을 그대로 복원한 게 아닌 역사적 사실을 고려해 독립운동가들의 ‘온전한 얼굴’을 되살렸습니다. 이를 통해 우리 국민들이 독립운동의 의미와 역사적 사건을 다시 한번 학습하는 기회가 되었습니다.

딥페이크 기술을 잘 쓰기 위한 대응 방안

지금 전 세계의 대학과 IT 기업들은 딥페이크를 걸러내는 기술개발에 온 힘을 쏟고 있습니다. 그중 대표적인 기술이 영국 헐대학교^{University of
Hull} 모델링·인공지능·데이터사이언스 연구소의 ‘은하 분석 기법’입니다. 은하 분석은 은하의 빛 분포를 계산하는 천문학의 ‘지니계수’를 활용해 딥페이크 영상을 찾아내는 기술입니다. 영상 속 인물의 눈동자 속에 비친 빛이 물리적 법칙을 따르는지의 여부에 따라 진짜와 가짜 영상을 판별합니다.

처음부터 딥페이크를 만들지 못하게 훼방 놓는 기술도 있습니다. 이미지와 텍스트를 묶어 학습하는 생산형 AI를 역이용하는 기술로, 텍스트와 관계없는 이미지를 묶어 데이터를 제공하는 방식입니다. 한마디로 AI가 학습하는 이미지 자체에 함정을 심어놓는 격입니다. 미국 시카고대 컴퓨터과학과 연구팀이 개발 중입니다.

한국에서는 원본 이미지의 화소(픽셀), 음성의 주파수 패턴을 학습한 뒤 이를 바탕으로 위조 이미지에서 변조된 패턴을 대조하는 기술이 개발됐습니다. 프로그램 개발업체인 ‘딥브레인AI’가 개발한 이 기술은 사진 등 이미지 딥페이크는 장당 1~2분, 1분 내외의 짧은 영상(숏폼) 콘텐츠는 5~7분 이내에 가짜와 진짜를 판독해냅니다. 네이버는 AI 생산물에 공인인증서처럼 암호화 알고리즘을 심는 방법을 연구 중입니다. 앱 ‘리페이스’는 워터마크를 없앤 딥페이크를 만들지만, 표식이 지워지거나 파괴되지 않도록 고려한 기술입니다.

앞으로 딥페이크 콘텐츠 접근은 기술이 보편화되면서 더욱 쉬워질 전망입니다. 따라서 기술의 악용에 대응하면서도 다양한 산업적 활용과 긍정적 모멘텀을 만들어야 할 것입니다.