오픈AI의 챗GPT로 촉발된 생성형 AI의 기술이 불꽃 튀는 경쟁을 하고 있습니다. 생성형 AI는 사용자가 입력한 특정 키워드 조건에 맞춰 텍스트·이미지·오디오·비디오·프로그래밍 코드 등 다양한 콘텐츠를 생성해주는 AI를 말합니다. 생성형 AI 기능은 개별 스마트 기기에서 수집한 정보를 중앙의 클라우드 서버로 전송해 딥러닝^{Deep-Learning} 등의 분석을 거친 뒤 결과값을 다시 기기로 보내는 방식으로 구현됩니다.

예를 들어 아마존의 ‘에코^Echo’ 등 스마트 스피커는 사용자의 음성 명령을 수집해 음성인식 기능을 실행하는 클라우드 데이터센터로 전송합니다. 데이터센터는 사용자의 음성 데이터를 분석해 그 의도를 파악하고 여기에 적합한 결과를 다시 스마트 스피커로 전송합니다. 단말기를 매개로 사용자가 데이터센터와 AI 처리 요청 및 결과 데이터를 주고받는 것이죠.

이러한 방식은 각 디바이스의 연산 성능이 뛰어나지 않더라도 이를 클라우드가 커버하기 때문에 고성능 AI 서비스를 제공할 수 있다는 장점이 있습니다. 하지만 클라우드 기반 생성형 AI에는 전제 조건이 따릅니다. 반드시 클라우드 데이터센터와 사용자 단말기가 네트워크에 연결돼 지속적으로 데이터를 주고받아야 한다는 것입니다.

만일 이 과정에서 네트워크 상태가 원활하지 않다면 적시에 데이터센터로부터 AI 지원을 받기 어려울 수 있습니다. 클라우드 서버 부하의 영향으로 네트워크가 지연될 수 있고, 네트워크 인프라 수준이 높은 도시에서도 무선 인터넷이 미치지 못하는 음영지역이 존재하기 때문에 AI의 성능에 큰 영향을 미칠 수 있죠. 이러한 단점은 생성형 AI가 상용화로 확산하는 데 결정적인 한계로 작용합니다.

생성형 AI의 이 같은 클라우드 컴퓨팅 의존도를 낮추기 위해 떠오른 기술이 바로 ‘온디바이스^On-Device AI’입니다. 온디바이스 AI란 말 그대로 기기에 탑재된 AI를 의미합니다. 사용자와 직접 접촉하는 하드웨어인 디바이스에 AI가 결부된 형태이죠. 쉽게 말해 스마트 기기에 AI 연산을 할 수 있는 신경망 칩^NPU을 설치해 인터넷 연결 없이 기기 스스로 가벼운 AI 학습과 연산을 구동하는 기술입니다.

멀리 떨어진 중앙의 클라우드 서버를 거치지 않는다는 것은 온디바이스 AI의 가장 큰 장점입니다. 별도의 인터넷 연결 없이 스마트 기기 내부에서 자체적으로 데이터를 수집하고 연산하는 AI를 실행하는 덕분에 정보 처리 속도가 빠르기 때문입니다.

클라우드에 의존하는 생성형 AI의 경우 클라우드까지 데이터가 넘어갔다 오는 바람에 상대적으로 응답 시간이 깁니다. AI의 지원 속도가 더디다면 어떻게 될까요. 정보의 실시간성이 요구되는 서비스 운영이 어려울 수 있습니다.

예를 들어 자율주행차는 수천분의 1초 단위로 주변 지형과 도로 상황을 판단하고 대응해야 합니다. 그런데 터널이나 도시 외곽 등 네트워크 상태가 불안정하다면 자율주행차 주행도 불가능해질 수 있습니다. 또 고속 그래픽 처리가 중요한 게임 역시 네트워크 상태에 따라 서비스 만족도가 크게 떨어질 수 있습니다.

반면 온디바이스 AI는 오직 디바이스 내에서만 돌아가는 AI이기 때문에 어떤 환경이든 상관없이 AI를 필요로 하는 서비스를 항상 실행할 수 있습니다. 따라서 가상·증강 현실, 드론, 로봇 등 실시간 정보 처리가 필요한 서비스는 물론 스마트폰과 노트북을 비롯해 세탁기, 로봇청소기 같은 가전제품에도 온디바이스 AI가 광범위하게 적용될 가능성이 큽니다.

또 온디바이스 AI가 중앙 서버를 통하지 않고 기기 자체에서 구동한다는 것은 클라우드의 단점인 보안 문제가 해결된다는 의미이기도 합니다. 사물인터넷^IoT이 일상화된 오늘날 생성형 AI가 수집하는 고객정보는 기존 AI가 수집하는 정보보다 폭이 넓고, 생성된 정보가 최소 한 번 이상 데이터센터로 전송된다는 점에서 보안 위협에 노출될 위험성이 높습니다.

일례로 ‘AI 통역 통화’ 기능이 만일 클라우드 서버에 구축된 생성형 AI를 통해 이뤄진다고 합시다. 그럴 경우 AI가 통역한 통화 내역이 외부로 유출될 수 있다는 거죠. 온디바이스 AI는 단말기 내부에서 AI를 실행하므로 개인정보가 유출될 확률이 적습니다.

클라우드 기반 생성형 AI의 또 다른 문제는 AI 구동에 엄청난 에너지가 필요하다는 점입니다. 계속 증가하는 빅데이터를 보관하고 정보를 처리하는 데 소비되는 엄청난 전력은 IT업계의 새로운 고민거리입니다. 클라우드를 거치지 않는 온디바이스 AI는 에너지 절감뿐 아니라 데이터센터에 투입되는 인프라 비용도 절감할 수 있습니다.

올해는 온디바이스 AI의 개화기가 될 전망입니다. 온디바이스 AI는 나만의 데이터를 가지고 최적의 서비스를 이끌어내기 때문에 개인화된 서비스를 실현할 수 있습니다. 조금 더 개인화된 AI 수요에 대응할 수 있다는 게 온디바이스 AI의 특징이죠. 인텔의 최고경영자^CEO 펫 겔싱어는 생성형 AI를 현실화할 수 있는 것은 온디바이스 AI뿐이라고 주장합니다.

온디바이스 AI는 단순한 기술적 발전을 넘어 우리 일상과도 밀접하게 연결됩니다. 스마트 기기 내부에서 온디바이스 AI가 사용자 식습관이나 운동 등의 생활 습관 정보를 파악해 맞춤형 서비스가 지원될 전망입니다. 예를 들어 애플의 시리는 사용자 질문에 대한 답뿐 아니라 어떤 옷과 신발이 어울리는지 등 개인 취향에 맞는 정보를 제공합니다. 교육 분야에서는 학생 개개인에 맞춤화된 학습 도우미로서의 역할이 강화되고, 의료 분야에서는 환자의 건강 상태를 모니터링해 의사처럼 조언을 해줍니다.

특히 장애자들에게 큰 도움이 될 것입니다. 구글은 루게릭병으로 불리는 근위축성측색경화증ALS이나 다발성경화증으로 언어장애를 가진 사람들이 음성인식 기능을 활용할 수 있는 ‘유포니아 프로젝트’를 발표한 바 있습니다. 이는 ALS 환자의 목소리를 녹음해 온디바이스 AI에 학습시킨 다음 환자의 말을 인식하고 문자화해 돕는 기술입니다.

음성이 스마트폰 화면에 자막으로 처리되므로 청각장애인도 전화 통화가 가능해집니다. 눈빛이나 기침 소리로 의사 표현을 할 수밖에 없는 이들에게도 적용됩니다. 기침 소리나 눈빛의 형태 혹은 길이를 정밀하게 분석해 문자로 표현해주기 때문입니다. 이 같은 사용자 중심의 온디바이스 AI 활성화가 우리의 실제 생활에 미칠 긍정적인 변화를 기대해봅니다.