애플 CEO 팀 쿡은 '애플 인텔리전스'가 게임체인저가 될 것으로 확언했다. 최근, 애플은 온디바이스 AI를 적용한 '애플 인텔리전스'를 공개하였다. 애플인텔리전스는 온디바이스 AI 기술을 활용하여, 생성형 AI와 Chat GPT 등을 제공한다. 애플은 또 오픈에이아이와의 파트너십도 발표해, 자체 음성 인공지능 비서인 ‘시리’에 챗지피티를 도입할 예정이다. 애플은 애플인텔리전스를 시작으로 AI 적용을 확대할 예정이다.

온디바이스 AI는 스마트폰 경쟁에 필수로 자리잡고 있다. 삼성전자의 최근 출시한 갤럭시 S24는 온디바이스 AI 기능을 탑재한 후 크게 히트 쳤다. 특히, 삼성전자의 스마트폰의 판매량이 정체되었으나, 전작대비(갤럭시 S23) 출하량은 크게 증가하였다. 또한 구글은 자체 스마트폰인 픽셀8과 샤오미 등 중국산 스마트폰들에 온디바이스 AI 기술을 적용하고 있다. 또한, PC에도 NPU를 적용하여, 온디바이스 AI를 구현한 AI PC가 등장하고 있다. AI PC는 스마트폰과 다르게, 업무환경에 적합한 온디바이스 AI 기술을 적용하여, 생산성 향상을 제공할 수 있다. 이렇듯 우리들의 전자제품에 온디바이 AI 기술이 적용되는 건, 곧 닥칠 미래로 보인다.

국내 스타트업들의 온디바이스 AI 기술 개발은 활발하다. 이들 중 주목할 기업이 있다. 바로, (주)제틱에이아이이(대표 김연석)다. (주)제틱에이아이는 AI 기업으로 고가의 GPU 서버 없이도 모바일 기기 내에서 직접 온디바이스 AI를 실행할 수 있는 AI 솔루션인 ZETIC.Melange(제틱 멜란지)를 개발하였다. 이러한 기술력을 인정받아 투자유치(seed, 비공개)에 성공하였다. 제틱에이아이는 이번 투자금을 활용해 안드로이드, iOS 등 서비스개발자 및 AI 개발자 등 인력확충을 하여, 글로벌 시장 진출을 준비할 예정이다.

AI 솔루션 기업 (주)노타(대표 채명수)도 적극적으로 온디바이스 AI 솔루션 개발 중에 있다. (주)노타는 온디바이스 AI 내, 특정 노드와 하드웨어에서 지원되지 않는 문제를 적합 AI 모델을 적용하여, 문제를 해결 하였다. 이를 통해, 온디바이스 내, 적정 AI 환경을 구현할 수 있다. 한국과학기술원(대표 연구자: 전산학부 김대영 교수)은 서버리스 컴퓨팅 환경에 가상화 GPU기술을 적용하여, GPU 리소스를 최적화한 서버리스 컴퓨팅 기술 등을 개발하였다. 이렇듯 산학연 전반에서는 온디바이스 AI 기술 고도화를 위한 기술 개발이 한창이다.

정부도 이러한 온디바이스 AI 기술 개발을 적극 지원 중에 있다. 중소기업벤처부는 온디바이스 AI 스타트업 발굴을 위한 '온디바이스 AI 초격차 챌린지'를 LG전자(디바이스), 인텔(칩셋), 마이크로소프트(SW) 등 각 분야의 글로벌 전문기업으로부터 기술검증(PoC) 등 기술 지원과 중기부로부터 협업 비용을 지원한다. 이렇듯 정부의 온디바이스 AI 기술 고도화를 위한 지원은 더욱 확대할 것이다.

특허법인 BLT 리서치 센터는 “온디바이스 AI 기술은 기업들의 새로운 기회가 될 것 같다.” 이를 위한, "온디바이스 AI를 위한, 컴퓨팅 기술과 리소스 분배에 대한 다양한 기술의 권리 확보는 좋은 전략이 될 것으로 전망한다.”고 전했다.