#요약이 더해 준 것을 세어 봤다
공고를 읽을 때 AI가 긴 문서를 줄여 주면 편할 것 같았다. 그런데 코드는 이미 원문에서 중요한 근거를 골라 보관하고 있었다. 모델이 그 문장을 다시 선택한다면, 호출 뒤에 새로 얻은 것은 무엇일까.
앞서 공고에 붙은 90점은 무엇을 뜻했을까에서는 제목만 읽은 분류가 화면에서 더 확실한 판단처럼 보이는 문제를 다뤘다. 이번에는 첨부 원문을 주고 받은 요약이 기존 처리에 무엇을 보탰는지 확인했다.
요청은 OpenRouter API를 거쳐 DeepInfra 제공자의 deepseek/deepseek-v4-flash로 보냈다. OpenRouter는 요청 창구, DeepInfra는 실행 제공자, DeepSeek는 모델이다. OpenRouter API 문서는 이 요청·응답 형식을 읽을 자료이며, 이번 품질 판정의 근거는 저장된 응답과 공고 원문이다.
사용한 document-brief-v5는 긴 문서를 자유롭게 줄이는 프롬프트가 아니었다. 역할과 필수 조건은 코드가 보존하고, 모델에는 추가 과업·납품물·제외 조건의 원문 구간과 미확인 항목을 선택하게 했다. 이미 코드가 고른 사실을 빼지 않으면서 놓친 근거가 더해지는지 보려는 선택이었다.
전체 비교는 다음 세 입력으로 나눠 준비했다.
| 조건 | 입력 | 확인할 차이 |
|---|---|---|
| A | 제목 | 문서 없이 내린 판단 |
| B | 코드의 원문 근거 | B−A: 문서의 효과 |
| C | B + 모델의 추가 근거 | C−B: 추가 선택의 효과 |
이번에 실행한 것은 C를 만들기 위한 첫 근거 선택 요청이다. 세 조건의 최종 선별 결과를 모두 비교한 것은 아니다. 모델이 답변을 완성했다는 사실과 새 업무 정보를 찾아냈다는 결과부터 따로 셌다.
#78개를 골랐지만 모두 기존 근거였다
10월 28일 첫 실제 요청은 정상 응답을 받았다. JSON도 끝까지 만들어졌다. 하지만 사전에 정한 품질 기준은 통과하지 못했다.
모델은 범주별 근거 참조를 78개 반환했다. 허용한 64개보다 많았다. 각 참조가 가리킨 36개 고유 원문 구간은 실제 입력에 있었지만, 78개 모두 코드가 같은 범주에 이미 남겨 둔 근거였다. 이 시험에서 확인한 새 범주·새 원문·유효한 새 업무 사실은 각각 0개였다.
집계 단위는 참조 수와 고유 원문 구간 수였다. 같은 문장을 다른 범주에 새로 연결했는지, 처음 고른 원문인지도 나눴다. 이번에는 78개 참조의 범주와 원문 구간이 모두 기존 코드 선택과 겹쳤다. 그래서 새 범주와 새 원문은 0개였다. 새 업무 사실 수는 별도로 원문을 읽고 판단했다. 새 구간을 골랐더라도 기존 사실을 다른 문장으로 반복했을 수 있기 때문이다.
출처가 있다는 점은 확인했다. 다만 기존 자료를 다시 고르는 일을 모델의 추가 기여로 세지는 않았다. 참조를 64개로 잘라 형식만 맞추거나, 코드가 보존한 사실을 모델이 찾아낸 성과로 바꾸지도 않았다.
#골라 놓은 문장과 반대되는 답
개수보다 더 살펴볼 부분은 원문 해석이었다. 응답에는 입찰공고문과 과업지시서의 우선순위가 명확하지 않다는 내용이 있었다. 원문에는 문서가 다를 때 적용할 우선순위가 적혀 있었다. 모델은 그 구간을 직접 선택하고도 불명확하다고 답했다.
문서 안에 수량이나 일정의 상충이 남는 문제와, 어떤 문서를 우선할지 규칙이 없는 문제는 다르다. 확인할 쟁점을 넓게 ‘불명확’으로 묶으면 원문에 이미 있는 답도 다시 물어야 할 질문으로 바뀐다.
다른 미확인 항목도 같은 방법으로 읽었다. 제공 자산의 구체적인 목록이 없다는 판단과, 비용 부담의 기본 규칙까지 없다는 판단을 구분했다. 원문에 없는 세부사항은 남겨야 하지만 이미 적힌 규칙까지 지워서는 안 됐다.
#남은 호출을 쓰지 않았다
승인된 요청은 최대 5회였지만 첫 요청 뒤에 멈췄다. 실패하면 중단한다는 기준을 미리 정해 두었기 때문이다. 나머지 4회를 실행하지 않았고, 거절된 응답을 손봐서 통과 요약으로 저장하지 않았다.
이번 호출 비용은 $0.00163404였다. 금액이 작아도 유용한 결과를 얻었다는 뜻은 아니다. 반대로 한 요청이 실패했다고 다른 공고나 모델 전체에서 요약이 쓸모없다고 결론 낼 수도 없다. 이번 결과가 말해 주는 것은 이 입력과 추가선택 방식에서 새 기여를 확인하지 못했고 원문 판단 오류가 있었다는 사실이다.
다음에 비교하려면 무엇을 더 찾아야 성공인지부터 다시 정해야 한다. 기존 근거를 읽기 좋게 묶는 일이 목적이라면 그 품질을 평가하고, 놓친 과업을 찾는 일이 목적이라면 누락된 사실을 실제로 보완했는지 봐야 한다. 둘을 같은 ‘요약 성공’으로 세면 결과를 해석하기 어렵다.
전체 공고 선별 비교와 나머지 요청의 품질은 아직 미검증이다. 이번에는 모델을 한 번 더 부르는 대신, 이미 받은 답을 원문에 놓고 읽는 데서 멈췄다.