로컬 LLM|
로컬 LLM 실험을 기록하는 실무 흐름
모델명, 양자화, 실행 인자, 실패 로그를 같이 남겨야 나중에 같은 결과를 재현할 수 있습니다.
로컬 LLM은 설치보다 기록이 더 어렵습니다. 같은 모델이라도 GGUF 파일, 양자화 방식, llama.cpp 버전, GPU layer 설정에 따라 출력 속도와 안정성이 달라집니다. 그래서 테스트가 성공했을 때의 환경을 파일로 남기는 습관이 필요합니다.
기본 기록에는 모델 저장 경로, repo id, 파일명, 파일 크기, 실행 CLI 경로, 컨텍스트 크기, temperature, top-p, repeat penalty가 들어가야 합니다. GPU를 쓰는 경우에는 n_gpu_layers 값과 CPU fallback 여부도 같이 저장하는 편이 좋습니다.
출력 기록은 raw output과 최종 정리본을 분리합니다. 모델이 프롬프트를 그대로 반복하거나 깨진 인코딩을 내보낼 수 있기 때문에 원본을 남겨야 원인을 찾을 수 있습니다. 사람이 보는 결과물은 echo 제거, 인코딩 보정, 품질 검사 이후의 파일로 따로 저장합니다.
실패도 기록해야 합니다. timeout, 메모리 부족, CUDA DLL 문제, 프롬프트 포맷 오류는 다음 실행에서 반복되기 쉽습니다. 실패 로그를 숨기지 않고 run 폴더에 남기면 모델 교체와 설정 조정이 훨씬 빨라집니다.