오로라AI, 폰에서 도는 ‘한울 미니’ 공개…30억 매개변수

오로라AI가 스마트폰에서 직접 구동되는 소형 언어모델 ‘한울 미니’를 17일 공개했다. 매개변수 30억개 규모로, 서버 연결 없이 기기 안에서 요약·번역·음성인식을 처리한다.

회사는 4비트 양자화를 적용해 모델 용량을 1.8기가바이트(GB)까지 줄였다고 밝혔다. 최신 스마트폰 기준 초당 42토큰을 생성하며 배터리 소모는 시간당 3% 수준이라는 설명이다. 한국어 요약 성능 평가에서는 자사 클라우드 모델의 91% 수준을 기록했다.

온디바이스 방식은 개인정보 보호와 비용 양쪽에서 강점이 있다. 통화 녹음이나 메시지처럼 민감한 데이터를 외부로 내보내지 않아도 되고, 호출 건당 서버 비용도 들지 않는다. 오로라AI는 모델 가중치를 연구용은 물론 상업용으로도 개방하기로 했다.

오로라AI 관계자는 “이용자 질의의 70%는 소형 모델로 충분하고 나머지만 서버로 넘기면 된다”며 “국내 제조사 2곳과 기본 탑재를 협의 중”이라고 말했다.

다만 성능 한계는 과제로 남는다. 한 업계 관계자는 “복잡한 추론이나 긴 문서 처리에서는 여전히 대형 모델과 격차가 크다”며 “어떤 질의를 기기에서 처리하고 어떤 것을 서버로 보낼지 나누는 라우팅 기술이 실제 체감 품질을 좌우할 것”이라고 말했다.