Nov 1, 2024
💡이 글은 “온디바이스 AI, 혁신을 이끌다: 도전 과제와 해결 방법” 글을 먼저 읽고 오시면 더욱 수월하게 이해하실 수 있습니다.
ChatGPT와 Claude, Perplexity와 같은 AI 서비스들은 이미 우리의 일상 깊숙이 자리 잡았습니다. 많은 기업들이 자체 AI를 개발하거나 생성형 AI를 활용해 업무를 혁신하고 있죠. 오늘은 이 중에서도 AI 서비스를 만드는 기업들의 고민에 대해 다뤄보려고 합니다.
예상과는 다르게 AI 산업의 현실은 녹록지 않습니다. 미국 랜드 연구소의 최근 보고서에 따르면, AI 프로젝트의 80% 이상이 실패하며, 이는 일반 IT 프로젝트 실패율의 두 배에 달한다고 합니다. 65명의 데이터 사이언티스트와 엔지니어를 인터뷰한 이 보고서는 AI 프로젝트 실패의 주요 원인을 분석했는데요, 이를 세 가지 핵심 측면에서 살펴보겠습니다.
사람의 문제: 잘못된 기대와 이해
대부분의 프로젝트 실패는 산업 이해관계자들이 문제를 잘못 이해하거나 전달하는 데서 시작됩니다. 많은 AI 기업들이 AI를 만능 해결책으로 여기지만, 현실은 다릅니다. AI가 해결할 수 있는 문제의 범위는 한정되어 있으며, 예상보다 많은 제약이 있습니다.
성공적인 AI 프로젝트를 위해서는 두 가지 전문성이 필요합니다. 하나는 해결하고자 하는 산업 분야에 대한 깊은 이해이고, 다른 하나는 AI 기술에 대한 전문 지식입니다. 이 둘의 균형을 맞춰 현실적인 목표를 설정하는 것이 핵심입니다.
환경의 문제: 현실의 제약
GhatGPT나 Claude처럼 안정적인 네트워크 환경에서 작동하는 AI만 있는 것은 아닙니다. 현실에서는 불안정한 네트워크, 엄격한 개인정보 보호 요구사항, 실시간 처리 필요성, 다양한 엣지 디바이스 등 복잡한 환경적 제약이 존재합니다. 이러한 조건에서는 전통적인 클라우드 기반 AI가 제대로 작동하기 어렵습니다.
온디바이스 AI는 이러한 환경적 문제에 대한 해결책이 될 수 있습니다. 네트워크 연결 없이 기기 내에서 AI를 구동하기 때문에 불안정한 네트워크나 보안 문제를 해결할 수 있죠. 다만, AI가 작동하는 기기의 성능에 따라 한계가 있을 수 있습니다. 최근 모바일 기기의 NPU 칩 성능이 크게 개선되고 있지만, 다른 종류의 기기에서는 여전히 과제로 남아있습니다.
비용의 문제: 증가하는 부담
AI 산업의 가장 큰 아이러니는 서비스의 대부분이 무료로 제공되지만, 제공자는 엄청난 비용을 감당해야 한다는 점입니다. 1천만 명이 사용하는 음성인식 AI 앱의 경우, 연간 서버 비용만 40억 원($3M)에 달하며, 사용자가 늘어날수록 이 비용은 기하급수적으로 증가합니다.
더 심각한 문제는 AI 산업의 빠른 변화로 인해 비용 예측이 거의 불가능하다는 점입니다. 수익은 제한적인데 비용은 예측할 수 없는 상황은, 마치 시한폭탄을 안고 있는 것과 같습니다.
이 부분에서 온디바이스 AI가 다시 혁신적인 해결책이 될 수 있습니다. 클라우드 없이 기기 자체에서 AI를 구동함으로써 서버 비용을 획기적으로 줄일 수 있기 때문입니다. 치킨 게임이 되어버린 AI 서비스 시장에서, 이는 단순한 비용 절감을 넘어선 파괴적 혁신이 될 수 있습니다.
마치며: 새로운 해결책의 등장
지금까지 살펴본 세 가지 문제 - 사람, 환경, 비용의 문제는 서로 긴밀하게 연결되어 있습니다. 한 가지 문제가 다른 문제를 악화시키는 연쇄 효과를 일으키곤 하죠. 80%에 달하는 AI 프로젝트 실패율은 우리에게 새로운 접근 방식의 필요성을 시사합니다.
이러한 상황에서 온디바이스 AI는 흥미로운 대안이 될 수 있습니다. 기기 내에서 직접 AI를 실행하는 방식은 다음과 같은 이점을 제공합니다.
네트워크 의존도 제거로 안정적인 서비스 제공
데이터 보안 강화와 개인정보 보호
클라우드 서버 비용 절감
실시간 처리 가능
특히 최근 모바일 기기의 NPU(신경망 처리 장치) 성능이 크게 향상되면서, 온디바이스 AI의 활용 가능성은 더욱 넓어지고 있습니다. Tesla의 자율주행이나 Apple의 Siri가 이미 많은 AI 처리를 디바이스에서 직접 수행하고 있는 것처럼, 온디바이스 AI는 특정 분야에서 매우 효과적인 솔루션이 될 수 있습니다.
물론 온디바이스 AI가 모든 AI 프로젝트의 만능 해결책은 아닙니다. 기기의 성능 제약이나 복잡한 연산이 필요한 경우 등 여전히 한계가 존재합니다. 하지만 적절한 사용 사례에서 온디바이스 AI는 비용 효율적이고 안정적인 솔루션을 제공할 수 있으며, 이는 AI 프로젝트의 성공 가능성을 높이는 중요한 옵션이 될 수 있습니다.
앞으로 AI 기술이 더욱 발전하고 다양한 산업에 도입되면서, 이러한 솔루션의 중요성은 더욱 커질 것으로 예상됩니다. 성공적인 AI 프로젝트를 위해서는 프로젝트의 특성과 요구사항을 정확히 파악하고, 그에 맞는 최적의 접근 방식을 선택하는 것이 중요할 것입니다.
