AI로 선제 대응하다
생성형 AI 기술의 발전과 함께 딥페이크를 활용한 영상통화 피싱 범죄가 빠르게 확산되고 있다. 이러한 위협에 대응하기 위해 스마트폰 기반 실시간 딥페이크 탐지 솔루션을 소개한다.
저희 팀은 컴퓨터비전 AI를 공부하는 부트캠프에서 함께 수학한 4명으로 구성됐습니다. 전공과 강점은 서로 다르지만, 그만큼 다양한 관점이 더해지며 좋은 시너지를 낼 수 있었습니다. 결과를 만들어가는 과정 자체가 즐거웠기에 수상까지는 기대하지 않았는데, 뜻깊은 상을 받게 되어 감사합니다.



한 팀원이 딥페이크로 유명 인사를 사칭해 영상통화로 투자를 유도한 피싱 사건 기사를 공유한 적이 있습니다. 처음에는 비현실적인 사례로 느껴졌지만, 생성형 AI의 정교화로 이러한 범죄가 점점 현실화되고 있다는 점에 문제의식을 갖게 됐습니다. 특히 디지털 취약계층이 신종 범죄에 더 크게 노출될 수 있다는 점에서, 기술로 대응 방안을 만들어보자는 데 뜻을 모았습니다.
실시간 딥페이크 탐지 기능을 탑재한 영상통화 애플리케이션입니다. 통화 중 상대 화면의 조작 확률을 UI상에 실시간 표시하고, 일정 기준을 넘으면 색상과 아이콘, 경고 메시지를 통해 직관적으로 위험을 알립니다. 통화 종료 후에는 조작 의심 구간, 평균 조작 확률 등을 포함한 분석 리포트를 생성해 사용자에게 제공합니다.
기존 다수의 탐지 서비스는 이미지나 영상을 서버에 업로드한 뒤 사후 분석하는 구조입니다. 그러나 영상통화 기반 피싱은 실시간으로 진행되기 때문에 즉각적인 경고가 어렵다는 한계가 있습니다. 저희는 이러한 공백을 보완하기 위해 실시간 탐지 구현에 집중했습니다. 범죄가 진행되는 순간 사용자에게 경고를 제공하는 것이 핵심 차별점입니다.
경량 CNN 기반 모델 아키텍처를 채택한 점입니다. 외부 서버를 거치지 않고 스마트폰 기기 내에서 AI 모델이 직접 구동되는 온디바이스 방식을 적용했습니다. 모바일 환경의 연산·메모리 한계를 고려해 모델을 최적화함으로써, 영상통화 품질에 영향을 주지 않으면서도 딥페이크 징후를 즉각 탐지할 수 있도록 구현했습니다.
영상통화 기능을 제공하는 통신사 및 메신저 플랫폼에서 예방 서비스로 활용될 가능성이 있습니다. 또한 금융·보안산업에서도 시사점이 있다고 봅니다. 안면 정보를 결제·신원 인증에 활용하는 서비스가 확대되는 상황에서, 실시간 조작 얼굴 탐지 기술은 신뢰도 확보 측면에서 중요한 요소가 될 수 있습니다.
탐지 성능 고도화에 집중할 계획입니다. 스마트폰에서 1차로 실시간 필터링을 수행하고, 의심 프레임만 서버의 고성능 모델이 정밀 분석하는 ‘2단계 탐지 구조’를 실험하고 있으며, 궁극적으로는 고성능과 경량성을 동시에 확보한 온디바이스 정밀 탐지를 목표로 하고 있습니다. 또한 메신저 플랫폼과의 협력을 통해 서비스 적용 범위를 넓히고, 영상뿐 아니라 음성 조작 탐지까지 확장해 통합적인 피싱 대응체계를 구축할 계획입니다.
기술의 성능을 넘어 ‘왜 AI를 공부하는가’ 돌아보는 계기가 됐습니다. AI가 사회문제 해결에 기여할 때 의미 있다는 점을 체감했습니다. 차기 참가자들에게는 문제 정의를 구체화하라는 조언을 드리고 싶습니다. 누가, 어떤 상황에서, 왜 어려움을 겪는지를 명확히 할수록 솔루션의 방향성과 완성도도 높아진다고 생각합니다.
디지털 유산 관리
초고령사회 진입과 함께 디지털 자산관리의 필요성이 커지고 있다. ‘AI 라이프 챌린지’에서 대상을 수상한 ‘메멘토’는
AI 기반 디지털 유산 관리 플랫폼으로, 생전 기록부터 사후 데이터 정리까지 지원하는 솔루션을 제시했다.
위한 Tech 포인트

국민 삶의 질 향상을 위한 기술을 발굴하는 KEIT ‘AI 라이프 챌린지’에서 대상을 수상해 영광입니다. 저는 공공부처 자문위원으로 활동하며 AI·빅데이터 기반 산업 생태계 고도화와 민생 문제 해결 방안을 연구해왔습니다. 이번 수상은 ‘고독사’와 ‘디지털 소외’라는 사회적 과제를 AI로 해결해야 한다는 공감의 결과라고 생각합니다.
우리나라가 초고령사회에 진입했지만, 생애 마무리를 위한 디지털 기반은 아직 충분히 갖춰지지 않았다고 판단했습니다. 사후 방치되는 디지털 계정, 고독사 이후 발생하는 정보 단절 문제를 해결하고 싶었습니다. 공신력 있는 플랫폼을 통해 아이디어의 실현 가능성을 검증받고자 참가했습니다.
현대인은 물리적 자산보다 더 많은 디지털 자산을 남깁니다. 그러나 관련 제도와 관리 체계는 여전히 미비합니다. 기억과 기록을 보존할 것인지, 삭제할 것인지에 대한 선택 역시 개인의 권리라고 생각했습니다. AI를 통해 ‘잊힐 권리’와 ‘기억될 권리’의 균형을 설계하고자 했습니다.
메멘토는 실시간 라이프 아카이빙 및 AI 자동 큐레이션 플랫폼입니다. 사용자의 디지털 활동을 분석해 생전에는 개인 맞춤 기록을 지원하고, 사후에는 설정된 프로토콜에 따라 데이터를 분류·전달·삭제합니다. 또한 사용자의 가치관을 학습한 AI 기반 디지털 에이전트 기능을 통해 정서적 연결을 지원하는 구조입니다.
감성지능EQ 기반 데이터 필터링을 통해 정서적 가치가 높은 데이터를 선별합니다. 무접촉 생활 패턴 감지 기술과 연계해 위기 상황을 감지할 수 있도록 설계했습니다. 또한 블록체인 기반 디지털 유언장 연동을 통해 데이터 무결성과 상속 절차의 신뢰성을 확보한 점도 특징입니다.
정서적 자산(사진·영상·음성 메시지), 실무적 자산(계정·구독·포인트 정보), 지적 자산(창작물·아이디어 기록) 등 세 영역을 중심으로 관리합니다.
EVSEmotional Value Score 알고리즘을 적용합니다. 사용자의 사전 설정과 관계 분석 모델을 결합해 데이터의 정서적 가치와 민감도를 평가합니다. 사후 정체성 보호 원칙에 따라 부정적이거나 프라이버시 침해 우려가 높은 데이터는 우선 삭제 대상으로 분류됩니다.
디지털 유언과 실행 조건을 블록체인 스마트 컨트랙트에 기록해 위·변조를 방지합니다. 사망 확인 시 자동 실행 구조를 적용했으며, 서비스 장애 상황에서도 작동 가능한 ‘디지털 데드맨 스위치’ 개념을 도입했습니다. 또한 제휴 신탁사 기반 에스크로 모델을 통해 자산 안전성을 확보할 계획입니다.
아이디어를 구체적인 사업 모델로 발전시키는 계기가 됐습니다. 문제의 사회적 파급력과 시장성을 데이터로 검증하는 과정을 통해 사업 구조를 정교화할 수 있었습니다. 무엇보다 공신력 있는 기관으로부터 혁신성과 실현 가능성을 인정받았다는 점이 큰 자산이 되었습니다.





이번 호 PDF 다운로드