요청의 출발점
실무자가 요청한 것은 Arrow 포맷 전환이었다. 기존 데이터 경로를 살펴 바꿀 곳과 남길 곳을 정하고, 실행과 검증까지 가능한 흐름으로 정리했다.
JSONL은 한 줄에 JSON 데이터 하나를 담는 텍스트 형식이다. Arrow는 열 단위 데이터 형식이고, 이 과제에서는 Hugging Face Datasets의 학습 데이터로 사용했다. 고객이 요구한 형식은 Arrow였지만 기존 운영 프로그램이 읽는 원본까지 함께 바꾸라는 요청은 아니었다. Datasets의 Arrow 사용 설명을 참고할 수 있다.
보존할 것과 바꿀 것
운영 원본 run-stage JSONL은 그대로 뒀다. 학습용 중간 JSONL 대신 바로 Arrow를 만들고, 유효값·데이터 형태·로더 검사를 넣었다.
읽힌 다음의 형태도 맞아야 했다
NaN·Inf 같은 값이 있는지 보고 배열의 shape·dtype을 확인했다. shape는 차원과 크기, dtype은 값의 자료형이다. 숫자가 들어 있는 파일이라도 학습 코드가 기대하는 크기나 자료형과 다르면 바로 사용하기 어렵다.
DataLoader는 학습에 사용할 데이터를 읽어 묶어 주는 역할이다. 파일 생성 검사를 통과한 뒤 실제 로더로 읽는 단계도 확인했다. 학습 파라미터와 checkpoint 재로딩, 추론 API 입출력은 별도의 실행 규약으로 맞췄다. 파일 형식 하나를 바꿨다고 그 뒤 계약까지 자동으로 맞아지는 것은 아니었다.
인계까지 확인하기
raw와 normalized 각각 920,544행의 실행 기록을 남기고, 학습·API·Simulink 연계와 연구자 인수인계 자료를 정리했다. 이 수치는 실행 규모이며, 속도 개선율이나 모델 정확도는 확인하지 않았다.