올해 1월 초 미국 라스베이거스에서 열린 ‘CES 2025’에서 엔비디아의 젠슨 황 CEO는 챗GPT가 AI 시대를 연 것처럼 로봇을 중심으로 한 ‘피지컬 AI 시대’가 멀지 않았음을 강조했다. 텍스트·이미지·동영상 등 콘텐츠를 만들어내는 ‘생성형 AI’에서 ‘인지하고 계획하고 행동하는 AI’로의 변화를 예상하며, 온디바이스 AI 시대의 새로운 개막을 알렸다.

온디바이스 AI 반도체는 제조업에서 진가를 발휘하는데, 그 이유는 크게 두 가지가 있다. 첫째는 제품에 AI가 들어가면서 제품의 부가가치를 높일 수 있다는 점이다. 스마트폰의 화질 개선, 음성인식, 번역·통역 서비스뿐 아니라 휴머노이드 로봇, 자율주행차에서 핵심 역할을 한다. 스마트TV, 노트북이나 로봇청소기·세탁기·에어컨 등 가전제품에도 차별화 요소로 사용된다. 둘째는 AI 제조를 통한 생산성 향상이다. 스마트팩토리의 AI 응용은 제조업에서의 생산성 향상으로 이어진다. 예를 들어 공장에서 가장 많이 활용할 수 있는 분야는 기계설비의 관리와 품질이다. 기계와 장비가 고장 날 가능성이 큰 시기를 예측해 사전 예방 정비의 최적 시기를 알려주는 것이다. 반도체 제조공정에서는 불량을 최소화하고 생산수율을 높이는 데도 큰 도움을 줄 수 있다. 이는 우리나라가 강점이 있는 제조업에 AI를 적극 적용해야 하는 이유다.

온디바이스 AI 반도체는 스마트폰, 자동차, 가전, 로봇 등 개별 기기 내부에서 작동해야 한다. 이런 환경은 전력, 발열, 크기, 메모리 용량, 가격 등의 제약이 매우 크다. 외부 솔루션인 범용 칩으로는 성능이나 가격 면에서 최상의 성과를 내기 어렵고, 칩 가격도 비싸다. 따라서 각 제품의 특성을 고려한 맞춤형 칩이 필수다. 제품에 기존 범용 반도체를 사용하면 타사와의 경쟁에서 이길 수 없다. 차별화된 성능을 갖기 어렵기 때문이다. 기존 범용 반도체는 말 그대로 범용성은 뛰어나지만 해당 제품 서비스 구현에 필요한 고성능 연산 등 특정 용도에 적용하기에는 비효율적이다. 스마트폰은 발열, 자동차는 안정성, IoT는 초저전력 등 제품별로 요구조건이 다르다. 센서, MCU, 메모리 등과 인터페이스가 제품별로 다르기 때문에 맞춤형으로 SoC 설계가 이루어져야 한다. 또한 경량화된 AI 모델을 다르게 개발해야 한다. 따라서 자체적으로 칩을 개발할 필요가 있다.

시스템 수요 기업 입장에서는 가장 성능 좋은 칩을 구매해서 경쟁력 있는 제품을 빨리 만들어 시장에 내놓는 것이 무엇보다 중요하다. 자체 칩 솔루션은 기획에서 칩을 채택해 사업화까지 시간이 오래 걸리기 때문이다. 그렇다면 어떤 좋은 방법이 있을까.

삼성의 갤럭시 개발 전략에서 그 방안을 찾아볼 수 있을 것 같다. 삼성은 외부 솔루션인 퀄컴 칩과 자체 칩인 엑시노스를 동시에 채용한다. 올해 갤럭시 Z 플립7에 엑시노스2500 AP 적용은 미국 퀄컴에 대한 의존도를 낮추고 재무개선에 기여하는 효과가 예상된다. 자체 개발 AP가 있어야 제품 원가를 낮출 수 있다. 삼성전자의 작년 모바일 AP 구매 비용은 10조 9000억 원으로, 5년 전인 2020년과 비교하면 두 배 가까이 늘었다. 사실 벤치마킹 점수 평가는 퀄컴보다 떨어지지만 기준 이상의 성능을 충족해서 탑재되었다. 이를 바탕으로 엑시노스2600에서 개선이 가능해졌다.

국산 칩을 써야 팹리스가 자립할 수 있다. 결국 외부 솔루션 칩, 자체 칩 솔루션 두 가지 선택지를 어떻게 조화롭게 고려할 것인가가 중요한데, 시스템 수요 기업 최고경영자의 결단이 요구된다. 적극적으로 자체 칩 탑재를 고려하고 독려해야 할 것이다. 최고의 기업으로 가려면 자체 칩을 확보해야 한다는 의지가 필요하다.

온디바이스 AI는 AI 반도체와 AI 모델, 두 축으로 나눌 수 있다. AI 반도체는 NPU^{Neural Processing Unit}를 사용하는데, 인간의 뇌처럼 복잡한 연산과 패턴 인식을 빠르고 효율적으로 처리하기 위해 AI 연산 가속에 특화 설계된 AI 반도체다. 개별 AI 모델에 최적화되어 있어 GPU로 처리할 경우 한계점인 전류 소모를 줄일 수 있다. AI 모델은 특정 목적을 수행하기 위해 데이터를 학습하고 패턴을 인식하도록 설계된 알고리즘을 의미한다. 저전력의 성능이 높지 않은 NPU를 사용해야 하므로, 경량화된 AI 모델 및 추론 기술 개발이 매우 중요하다.

학습 과정에서 엄청난 계산능력이 필요하진 않으므로 주로 추론에 초점을 맞추고 있다. 또한 추론 서비스는 항상 사용하는 것도 아니기 때문에 필요할 때만 추론을 활용하면서 전력 소모를 최소화할 수 있도록 개발한다. 클라우드 대신 단말기 내부에서 인공지능 연산을 수행하기 때문에, 무엇보다 전력효율과 성능 최적화가 중요하다. 이러한 조건을 만족시키려면 칩 설계 상위 단계에서의 아키텍처 설계가 첫 단추다. 칩 외에 시스템소프트웨어, SDK, AI 모델 및 프레임워크가 유기적으로 개발되어야 한다. 구체적으로 설명하면 칩에서 구동되는 AI 모델이 얼마나 효율적으로 경량화되고, 그 모델을 쉽게 구현할 수 있는 개발 프레임워크와 SDK가 얼마나 정교하게 갖춰져 있는지가 중요하다. AI 모델을 칩 구조에 맞게 변환하고 최적화하는 컴파일러, 런타임 소프트웨어가 칩의 성능을 사실상 결정짓는 요소이기 때문이다. 특히 칩 설계자와 ML 엔지니어의 밀접한 협력이 요구된다. 전체 개발(100) 비중을 놓고 보자면 칩은 40, AI 모델과 컴파일러, SDK, 시스템 소프트웨어 등 통합 소프트웨어 60 정도로 소프트웨어 비중이 커야 한다.

정부는 제조 AI의 본격 실행을 위해 9월 10일 M.AX 얼라이언스(맥스)를 출범했다. ‘제조 + AI 전환’을 국가 전략으로 선언하는 의미 있는 행사였다. M.AX 얼라이언스는 AI 팩토리, AI 제조 서비스, AI 유통·물류, 자율주행차, 휴머노이드, 자율운항 선박, AI 가전, AI 방산, AI 바이오, AI 반도체 등 10개 분야별로 구성된다. 이 가운데 반도체 국산화 목적으로 구성한 AI 반도체 얼라이언스는 더욱 중요한 의미를 가진다.

글로벌 온디바이스 AI 반도체 경쟁은 이제 막 시작한 단계라고 볼 수 있다. 지금이 바로 ‘골든타임’이다. 앞으로 5년이 매우 중요한 시기라고 본다. 글로벌 경쟁력과 호환성을 갖춘 AI 반도체, AI 모델 및 프레임워크, SDK 등 풀스택 상용 수준을 개발해낼 세계 수준의 기업들을 키워내야 한다. 시스템 수요 기업은 3~5년을 내다보는 칩 기획 능력을 제시할 수 있어야 하고, 칩이 나왔을 때 철저하게 검증해야 한다. 그래야만 칩 개발 시 문제점을 해결하고 상용화할 수 있다.

중국 정부는 ‘제조 2025’를 10년 전에 제시하고 첨단산업을 집중 육성했다. 중국의 팹리스는 한국을 양적·질적인 면에서 모두 앞서고 있다. 그동안 시스템반도체 설계 능력을 꾸준히 키워왔고, AI 시대가 열리면서 중국은 온디바이스 AI 반도체 설계 분야에서 강력한 힘을 발휘할 것으로 보인다.

2015년 6월의 일이다. KAIST 휴보 로봇은 ‘DARPA 로보틱스 챌린지^DRC’에서 당당히 우승을 차지했다. 우리는 환호했다. 이때 중국 팀은 본선 23개 팀에도 들지 못했다. 이후 중국이 온디바이스 AI 기술에 집중한 결과, 오늘날 미국과 대등한 수준으로 올라섰다. 사람의 척추에 해당하는 것이 온디바이스 AI용 반도체다. 두뇌 역할을 하는 파운데이션 AI 모델이 수행되는 곳이다. 중국에서 가장 주목받는 로봇 기업은 2016년에 세워진 ‘유니트리^UNITREE’다. 이 회사는 중국 팹리스인 호라이즌 로보틱스의 Journey 시리즈 AI 칩을 사용하는 것으로 알려져 있다.

중국의 도전은 거세다. 경쟁에서 이겨야 한다. 이제 정부와 산업계가 해야 할 일은 명확하다. M.AX 얼라이언스는 구호에 그쳐서는 안 된다. 정부가 앞장서서 솔선수범해야 한다. 계획은 구체적이어야 하고, 온 힘을 다해 실천해야 한다. 국내 팹리스가 단순한 기술용역 개발을 맡는 것이 아니라, 시스템 기업과 함께 성장하는 파트너형 구조를 만들어야 한다. 시스템 수요 기업-팹리스-파운드리 연계를 통한 온디바이스 AI 반도체 생태계가 만들어져야 한다. 제조업의 혁신 엔진인 온디바이스 AI 반도체 개발에 집중하고 자체적으로 칩을 확보해야 한다. 차별화를 통해 제품의 부가가치를 높이는 일, 스마트팩토리와 연동해서 제조 생산성 향상이라는 두 가지 목표를 달성해야 한다. 국내 제조업의 도약을 위한 길이다.