왜 휴대폰 안에서
메모 앱에 링크나 글을 공유하면 메모 초안을 만들어 주는 기능을 넣고 싶었다. 서버의 LLM을 쓰면 쉽다. 대신 사용자가 저장하려는 글을 밖으로 보내야 하고, 쓰는 만큼 비용이 나간다. 그래서 휴대폰 안에서 돌리는 쪽을 먼저 시험했다.
실험 화면부터
5월 초, 앱 두 개에 개발자만 들어가는 실험 화면을 만들었다. llama.rn으로 모델 파일을 받아 불러오고, 문장을 생성해 보는 화면이다.
Galaxy Note10 실기기에서 Gemma와 TinyLlama가 문장을 만들어 내는지 봤다. Gemma는 한국어로도 답했다. 모델마다 잘 맞는 생성 설정이 달라서 모델 목록에 설정을 같이 적어 뒀다.
실제 기능으로 옮기면서 정한 것
- 모델 파일은 앱에 넣지 않았다. 사용자가 설정 화면에서 골라 받게 했다.
- 2GB가 넘는 모델은 자동으로 받지 않게 했다.
- 모델이 없거나 생성이 실패하면 원래 있던 링크 미리보기와 기본 요약을 보여준다.
- 서버 LLM으로 넘기는 건 이번에 넣지 않았다.
5월 중순 릴리스 빌드에서 이 기능을 켰다. 5월 말에는 메모 정리 기능에도 붙였다.
느렸다
직접 써보니 요약이 느렸다. 모델에 넣는 글이 긴 게 가장 큰 이유였다. 6월에 입력을 줄이고 OTA 업데이트로 내보냈다. 문제가 생기면 새 모델 추천과 요약을 원격으로 끄는 방법도 계획에 넣었다.
해보고 나서
휴대폰 안에서 돌리면 글이 밖으로 안 나가고 서버 비용도 없다. 대신 기기 성능, 저장 공간, 첫 다운로드를 사용자가 떠안는다. 그래서 AI 기능이 꺼져 있어도 앱을 그대로 쓸 수 있게 만드는 데 시간을 더 썼다.
기기마다 얼마나 빠른지, 사용자가 이 기능을 실제로 켜는지는 아직 모른다.