왜 휴대폰 안에서
메모 앱에 링크나 글을 공유하면 메모 초안을 만들어 주는 기능을 넣고 싶었다. 서버의 LLM을 쓰면 쉽다. 대신 사용자가 저장하려는 글을 밖으로 보내야 하고, 쓰는 만큼 비용이 나간다. 그래서 휴대폰 안에서 돌리는 쪽을 먼저 시험했다.
실험 화면부터
5월 초, 앱 두 개에 개발자만 들어가는 실험 화면을 만들었다. llama.rn으로 모델 파일을 받아 불러오고, 문장을 생성해 보는 화면이다.
Galaxy Note10 실기기에서 Gemma와 TinyLlama가 문장을 만들어 내는지 봤다. Gemma는 한국어로도 답했다. 모델마다 잘 맞는 생성 설정이 달라서 모델 목록에 설정을 같이 적어 뒀다.
실제 기능으로 옮기면서 정한 것
- 모델 파일은 앱에 넣지 않았다. 사용자가 설정 화면에서 골라 받게 했다.
- 2GB가 넘는 모델은 자동으로 받지 않게 했다.
- 모델이 없거나 생성이 실패하면 원래 있던 링크 미리보기와 기본 요약을 보여준다.
- 서버 LLM으로 넘기는 건 이번에 넣지 않았다.
5월 중순 릴리스 빌드에서 이 기능을 켰다. 5월 말에는 메모 정리 기능에도 붙였다.
사용 흐름을 정리하면 아래와 같다. 다운로드는 사용자가 설정에서 선택하는 별도 단계이고, 모델이 없다는 이유로 메모 작성을 막지는 않는다.
생성 실패를 서버 LLM 재시도로 이어 붙이지 않은 것도 이 선택의 일부다. 요약 기능 때문에 글이 외부 모델로 전송되는 경로를 늘리지 않고, 기존 기능으로 돌아가게 했다.
느렸다
직접 써보니 요약이 느렸다. 당시에는 모델에 넣는 긴 글을 주요 원인으로 보고, 6월에 입력을 줄여 OTA 업데이트로 내보냈다. 다만 같은 기기·같은 입력의 변경 전후 처리 시간을 기록한 결과는 이 글에 없다. 따라서 입력 축소를 적용했다는 사실과 속도 개선을 수치로 입증하는 것은 구분한다.
문제가 생기면 새 모델 추천과 요약을 원격으로 끄는 방법도 계획에 넣었다. 이 부분은 적용 완료 결과가 아니라 후속 대응 계획이다.
해보고 나서
이 요약 경로에서는 글을 외부 LLM으로 보내지 않고, 서버 LLM 추론 비용도 발생하지 않는다. 대신 기기 성능, 저장 공간, 첫 다운로드를 사용자가 떠안는다. 모델 배포나 앱 운영 전체의 비용이 없다는 뜻은 아니다. 그래서 AI 기능이 꺼져 있어도 앱을 그대로 쓸 수 있게 만드는 데 시간을 더 썼다.
기기마다 얼마나 빠른지, 사용자가 이 기능을 실제로 켜는지는 아직 모른다.