파일 형식을 바꿔달라는 요청
실무자로부터 데이터 형식을 바꿔달라는 요청을 받았습니다. 용량과 메모리 제약이 있었고, 기존에 돌아가던 작업도 유지해야 했습니다. 우선 운영에 쓰는 원본과 학습용 중간 파일이 각각 어디에 필요한지 확인했습니다.
없애도 되는 중간 파일 찾기
운영에 쓰는 JSONL 원본은 그대로 뒀습니다. 학습용 데이터를 만들 때는 중간 JSONL을 한 번 더 만들지 않고 Arrow로 바로 생성하도록 바꿨습니다. 파일 형식만 바꾸고 끝낼 수는 없어서, 데이터 규약을 정리하고 로더가 결과를 제대로 읽는지도 확인했습니다.
AI와 나눠 맡은 일
구현에는 AI의 도움을 받았습니다. 저는 요청한 내용과 기존 코드의 의존성을 살펴보고, 어떤 방식으로 바꿀지 정한 뒤 실행 결과를 확인했습니다. Arrow 형식은 제가 새로 제안한 것이 아니라 처음부터 요청받은 조건이었습니다.
파일이 생성됐다고 끝내지는 않았습니다. 유효하지 않은 값이 있는지, 데이터 형태가 맞는지, 로더에서 읽을 수 있는지 검사했습니다. 학습·API 연계와 인수인계 자료도 함께 준비했습니다.
다른 사람이 실행할 때 필요한 것
전체 데이터를 생성하고 검사한 기록, 실행 규약, 인수인계 자료를 남겼습니다. 다음 사람이 어디서 시작하고 무엇을 확인해야 하는지 알 수 있게 하는 것이 목표였습니다.
여기서 확인한 결과는 처리 구조를 바꾸고 실행·인계를 마쳤다는 것입니다. 같은 조건에서 전후 성능을 비교하거나 모델 정확도가 좋아졌다는 것을 입증하지는 않았습니다.
다음에는
다시 맡는다면 처음부터 사용자가 실행할 순서를 완료 조건에 넣고 싶습니다. 코드를 작성하는 시간 외에도, 다른 사람이 결과를 이해하고 쓰는 데 시간이 든다는 점을 함께 봐야겠습니다.