온디바이스 AI란? | 차세대 딥러닝 기술에 대해 알아보자.

온디바이스 AI 란?

 

 

온디바이스 AI 시대가 열린다.

 

챗GPT의 등장으로 AI 시대가 이제 멀지 않았다고 전망하고 있다. 현재 제공되는 AI 서비스는 외부 서버나 클라우드를 통해 정보를 수집하고 연산한다. 만약 통신이 불안정하거나 클라우드에 접속되지 않거나 외부 서버와 연결이 되지 않으면 AI 서비스를 이용하기 어려다는 문제점이 있다. 이 같은 문제점을 해결하기 위해 온디바이스 AI가 요즘 주목받고 있다.

 

 

온디바이스 AI란?

 

온디바이스(On-Device) AI란 서버나 클라우드를 거치지 않고 우리가 흔히 사용하는 PC, 스마트폰, VR 등의 기기에 자체에 AI 기능을 구현하는 기술이다. 즉, 스마트기기에 AI 칩을 탑재해 더욱 빠른 AI 서비스를 이용할 수 있도록 하는 기술이다. 

 

온디바이스 AI 단말기기는 중앙 서버나 클라우드를 거치지 않기 때문에 클라우드 기반 AI의 문제점인 보안 문제를 해결할 수 있다.

 

또한, 별도의 네트워크가 필요 없기 때문에 인터넷 등 통신연결이 어려운 장소에서도 실시간 번역과 같은 AI 서비스를 누릴수 있다.

 

온디바이스 AI

 

 

온디바이스 AI 구현을 위해 반드시 필요한 NPU

 

온디바이스 AI 기술을 위해서는 필수적으로 NPU가 탑재되어야 한다. NPU(Neural Processing Unit, 신경망 처리장치)란 AI의 핵심이라 할 수 있는 딥러닝 알고리즘 연산에 최적화된 칩이다. 

 

NPU는 사람의 뇌처럼 정보를 학습하고 처리하는 프로세서라고 해서 신경망처리장치(Neural Processing Unit) 즉, NPU라고 한다.

 

사람의 뇌와 같은 기능을 하는 NPU

 

NPU는 동시다발적인 행렬연산에 최적화된 프로세서로 여러 개의 연산을 실시간 처리가 가능하다. 또한, 축적된 데이터를 기반으로 스스로 학습하여 최적의 값을 도출해 낸다. 이러한 특성 덕분에 NPU는 컴퓨터가 사람처럼 생각하고 배울 수 있는 기계 학습 기술을 뜻하는 딥러닝에 최적화된 기술로 평가받고 있다.

 

만약, 완성도 있는 NPU를 AI에 사용하게 된다면 학습과 추론 모두 GPGPU를 앞설 수 있다. 하지만 현재 NPU 개발 역사가 짧고 완성도 있는 수준까지 개발되지 않아 아직까지는 GPGPU가 더 많이 사용되고 있다.

 

현재 글로벌 빅테크 및 팹리스 회사들은 자체 출시한 NPU를 활용해 데이터센터나 온디바이스에 적용하고 있다. 현재는 GPGPU의 지배력이 매우 높지만 향후 AI산업에서는 NPU의 역할은 더욱 커질 것으로 전망하고 있다.

 

 

온디바이스 AI 동향(NPU)

 

1. 삼성 '가우스'

삼성전자는 '삼성 AI 포럼 2023'에서 자체 개발한 생성형 AI '가우스'를 선보였다. 가우스는 텍스트를 생성하는 언어 모델, 코드를 생성하는 코드모델, 이미지를 생성하는 이미지 모델로 구성되어 있다. 가우스를 활용한 온디바이스 AI는 개인정보 전송 없이 문서 작업, 코드 작업, 미미지를 생성할 수 있도록 지원할 것이다.

 

현재 삼성전자 임직원을 대상으로 베타 테스트를 진행 중이며, 내년 공개 예정인 갤럭시 S24 모델부터 탑재될 전망이다. 삼성전자의 가우스 AI를 구동시켜주는 칩은 Exynos 2400이다. 이 칩을 통해 갤럭시 S24는 실시간 통역이 가능할 것이다.

 

2. 애플

애플도 iPhone 16 Series 부터 온디바이스 AI를 탑재할 전망이다. 애플은 이를 위해 iOS 18 출시 일정을 미루더라도 온디바이스 AI 기능을 탑재하는 방안을 검토 중에 있다.

 

애플은 지난 2017년부터 NPU를 내장하기 시작했다. 그동안 애플의 NPU 코어 수와 성능은 급격히 증가했다.(A11 Bionic 2 코어, 600 GOPS → A17 Pro 16 코어 35TOPS) 

 

아직 공개되지 않았지만 애플은 온디바이스 AI를 위한 지난 6년간의 기술과 막대한 데이터를 기반으로 새로운 생성형 AI를 출시할 지도 모른다.

 

 

3. 퀄컴

퀄컴은 2024년부터 자사의 '스냅드리곤8 3세대 칩'에 최대 100억 개의 파라미터를 지원하는 NPU를 탑재하여 메타의 생성형 AI인 라미-2를 지원할 계획을 밝혔다. 앞으로 퀄컴 칩을 사용하는 스마트폰에는 메타의 라미-2를 활용한 온디바이스 AI가 탑재될 것이다.

 

또한 퀄컴은 '스냅드래곤 서밋 2023'에서 새로운 AI PC용 SoC(Syseomon Chip) 'X-Elite'를 소개하였다. 2024년 글로벌 주요 pc 업체에 X-Elite를 탑재할 것으로 보인다. X-Elite에는 AI 위한 전용 NPU를 장착했으며, 130억 개 파라미터의 딥러닝 모델까지 지원이 가능한 것으로 알려져 있다.

 

4. 중국 비보

2023년 11월 13일에 중국의 스마트폰 기업 비보가 세계 최초로 스마트폰에 온디바이스 AI를 탑재했다고 발표했다. 비보는 'X100' 신제품 발표회를 열고 '란신'이라는 AI 모델을 탑재했다고 밝혔다. 비보의 발표에 따르면 '란신'은 슈퍼클루,  CMMLU 등 여러 테스트에서 세계 1위를 차지했다고 밝혔다. 

 

'X100' 시리즈 스마트폰은 70억 개 매개 변수 대형 언어 모델(LLM)과 130억개 매개 변수 모델이 단말기에서 구현되는 것으로 소개하였다.

 

 

결론

 

앞으로는 온디바이스 AI가 대세로 자리 잡을 전망이다. 온디바이스 AI의 동반자인 NPU도 각광을 받을 것이다.

 

그럼 이제부터 챗GPT와 같은 기존 외부 서버나 클라우드에 연결하는 생성형 AI가 필요 없어질까? 정답은 '아니다'이다.

 

아직 기존 생성형 AI를 대체하기에는 온디바이스 AI에서 가장 중요한 NPU가 아직까지는 만족할 만한 성능에 도달한 것이 아니다. 당분간은 온디바이스 AI는 생성형 AI를 보조하는 수준 혹은 연산의 규모가 크지 않은 서비스에 주로 사용될 것이다.

 

향후,  NPU의 기능이 강화되면 연산의 효율성이 극대화되기 된다. 그때부터는 스마트폰으로 더욱 빠른 AI 서비스를 제공받을 수 있을 것이다. 

---

 

UAM이란 무엇인가? | UAM의 구성, 산업 동향 알아보기

 

XR(확장현실) 이란 무엇인가? |

 

 

반도체 산업 이해하기-① : 반도체란 무엇이며, 역할과 종류에 대한 기초 지식