온디바이스 AI, 기존 AI와 무엇이 다를까?

챗GPT나 클로드(Claude),바드(Bard)와 같은 생성형 AI는 인터넷 연결이 없으면 무용지물이다. 스마트 기기에서 작성된 질문을 클라우드 서버로 전송해 분석하고 다시 기기에 보내는 방식으로 진행되기 때문이다. 하지만 온디바이스 AI가 출현함에 따라 스마트폰에서 자체적으로 정보를 처리할 수 있게 됐다. 온디바이스 AI의 개념과 트렌드, 발전 방향 등에 대해 알아본다.

스마트폰이 정말 ‘스마트’해지고 있다.통화기기에 불과했던 휴대전화는 스마트폰의 등장으로 기능이 더욱 풍부해졌으며, 개인 비서와 같이 AI를 탑재한 스마트한 기능은 인터넷을 반드시 필요로 한다. 이 개인 비서는 최근 삶의 다양한 영역을 관리해주는 수준으로 진화했다. 그 중심에는 AI가 있으며, 한 단계 더 나아가 ‘온디바이스(On-Device) AI’가 있다.

온디바이스 AI는 스마트폰의 기능을 한층 더 높일 것으로 예상된다. 온디바이스 AI는 기존에 주로 사용되던 클라우드 서버가 아닌 스마트폰 자체에서 정보를 처리할 수 있는 기술을 말한다. 이 기술은 실시간에 가까운 처리 속도와 강력한 개인정보 보호, 에너지 효율성 극대화와 같은 다양한 이점을 제공한다.

온디바이스 AI를 이해하려면, 먼저 반대 개념인 클라우드 기반 AI를 알아야 한다. 대다수 일반적인 AI는 클라우드를 기반으로 작동한다. 예를 들어, GPT-4, 클로드, 코파일럿과 같은 AI 서비스는 모두 대규모 데이터센터에서 운영된다.

이러한 이유로 인터넷 연결이 끊기거나 클라우드 자체가 마비되면 AI를 사용할 수 없다. 또한, 클라우드 AI는 사용자의 질문과 데이터가 모두 클라우드로 전송되기 때문에 보안 문제가 발생할 수 있으며, 데이터 전송 시 비용과 시간이 소모된다.

반면, 온디바이스 AI는 규모가 작아 기능이 다소 제한적일 수 있지만, 클라우드에 연결하지 않고도 서비스를 바로 이용할 수 있다. 이로 인해 앞서 언급한 불편함을 겪지 않아도 된다.

최근 온디바이스 AI 서비스는 주로 스마트폰, 노트북의 기본 기능인 사진, 음성 인식 강화에 중점을 둔다. 대화형 챗봇을 온전히 온디바이스 AI로 구현하기에는 모델 경량화와 반도체 발전이 추가적으로 필요하기 때문에, 작은 모델부터 소소하지만 기본적인 기능들을 개선하는 것부터 시작하고 있다.

노트북, 스마트폰에서 AI 모델이 구동되기 위해서는 일단 모델의 크기가 작아야 한다. 클라우드에서 구동되는 모델은 오픈AI 주도로 점차 사진, 오디오 등 다양한 입력 값을 한 번에 처리하기 위해 멀티 모달 모델(GPT-4V 등)화되고 있으나, 온디바이스 모델은 작고 특정 기능에 한정되어 있다. 모델이 작아야 기기에 쉽게 저장할 수 있으며, 구동되는데 소요되는 시간이 적어 온디바이스 AI 서비스의 장점을 살릴 수 있다.

또한, 온디바이스 AI를 구현하기 위해서는 소프트웨어 관점의 모델 경량화와 더불어 하드웨어 관점에서 칩셋의 구조 변화가 필수적이다. 기존 방식에서 AI 계산을 하려면 CPU와 GPU가 각각의 메모리를 통해 데이터를 주고받아야 하고, 이는 데이터 전송의 지연과 성능 저하를 유발한다. 사용되는 메모리의 양이 일반적인 소프트웨어에 비해 상당히 많은 AI 계산의 경우, 데이터 전송 시 병목 현상으로 이어질 수 있어 기존 구조로는 온디바이스 AI 구현이 어렵다. 온디바이스AI는 아직까지 많이 출시되지 않았지만, 일부는 이미 시중에서 판매되고 있다.

온디바이스 AI 기반 제품들

2023년 10월 출시된 구글의 ‘픽셀 8 프로’는 생성형 AI가 최초로 내장된 스마트폰으로 이미지, 사운드 합성 및 제거, 맥락에 맞는 언어표현 추천 등의 서비스를 제공한다.

현재 주요 글로벌 반도체 기업들은 온디바이스 AI를 활용할 수 있는 고성능 반도체 개발에 총력을 기울이고 있다. 이 중 퀄컴(Qualcomm)은 스마트폰, 태블릿 등 모바일 기기뿐만 아니라 PC 분야에 이르기까지 폭넓은 포트폴리오를 보유하고 있다.

퀄컴은 스마트폰용 SoC인 스냅드래곤8을 시작으로 지난 6월 자체 개발한 '오라이온(Oryon)’ CPU를 탑재한 스냅드래곤 X 엘리트/플러스를 출시하며 온디바이스 AI 포트폴리오를 확장했다. 현재 스냅드래곤 X 엘리트/플러스를 탑재한 PC 22종이 국내외 시장에 출시됐다.

올해 초 출시된 삼성전자 갤럭시 S24 울트라는 물론, 최근 출시된 폴더블 스마트폰인 갤럭시Z플립6 등 최신 스마트폰에 탑재된 실시간 통역, 포토 어시스트, 스케치 투 이미지 등 생성형 AI 관련 기능이 모두 헥사곤 NPU 기반으로 작동한다.

삼성전자는 딥러닝(Deep Learning) 알고리즘과 온디바이스 AI와 같은 혁신기술 연구에 집중하고 있다. 지난 11월에 진행된 ‘삼성 AI포럼 2019’를 통해 서버를 거치지 않고 기기 자체에서 AI 기능을 수행하는 온디바이스 AI 통역 기술을 선보이기도 했다.

삼성전자의 프리미엄 모바일 애플리케이션 프로세서(AP) 엑시노스 9가 대표적인 온디바이스 AI의 예시라고 할 수 있다. 지연 없이 실시간으로 다양한 연산을 처리하는 시스템 반도체 신경망처리장치(NPU, Neural Processing Unit)를 탑재하여 모바일 기기 자체에서 기존 대비 7배 빠른 AI 연산 처리가 가능하다. 고성능 연산 능력이 필요한 온디바이스 AI를 위해 NPU 성능을 높이기 위한 노력은 계속될 예정이다.

2028년에는 생성형 AI 스마트폰의 점유율이 전체 스마트폰 시장의 과반을 차지할 것이라는 전망이 나온다. 시장조사기관 카운터포인트리서치의 ‘생성형 AI 스마트폰 출하량 전망 보고서’에 따르면, 올해 연간 생성형 AI 스마트폰 출하량은 작년 대비 400% 증가해 전체 스마트폰 출하량의 약 19%를 차지할 것으로 보인다. 또한, 해당 보고서는 스마트폰 점유율이 꾸준히 증가해 2028년에는 전체 스마트폰의 약 54%까지 확대될 것으로 예상했다.

삼성전자가 지난 1월 첫 AI 폰으로 '갤럭시 S24' 시리즈를 출시한 후, 다른 제조사들도 앞다퉈 AI 스마트폰을 출시하고 있다. 삼성전자는 '갤럭시S24' 시리즈에 온디바이스 AI에 최적화된 생성형 AI 모델인 '가우스(Gauss)'를 탑재했다. 갤럭시S24 시리즈에서 가장 주목받는 기능으로는 'AI 라이브 통역 콜'이 있다. 이는 통화 중 발생하는 언어를 실시간으로 번역하는 점이 특징이다. 별도의 애플리케이션을 설치하지 않아도 모국어로 이야기하면, 상대방이 갤럭시 AI폰을 사용하지 않아도 상대방의 언어로 통역하여 전달한다. 기기와 서비스 장벽을 뛰어넘는 통역 서비스가 현실화되고 있는 셈이다.

카운터포인트리서치의 보고서는 애플이 올해 생성형 AI 스마트폰 출하량 1위를 차지할 것으로 전망했다. 조만간 공개될 애플 인텔리전스 기능이 아이폰 15 프로 시리즈와 아이폰 16 전 시리즈에 적용되면, 애플이 AI 스마트폰 시장에서 50%가 넘는 점유율을 확보할 수 있다고 내다봤다.