9장. 모델 평가와 활용, QLoRA
용어 짚고 가기
평가(evaluation)학습이 끝난 모델이 원하는 대로 바뀌었는지 확인하는 일입니다. 연수를 마친 운전자의 면허 시험입니다.손실(loss)모델의 예측이 정답과 얼마나 먼지 나타내는 벌점입니다. 낮을수록 정답 토큰을 잘 맞힌 것입니다.test 손실(test loss)학습에도, 검증에도 쓰지 않은 평가 데이터로 잰 손실입니다. 처음 보는 실전 시험의 점수입니다.정량 평가(quantitative evaluation)손실, 정확도처럼 숫자로 재는 평가입니다.정성 평가(qualitative evaluation)답변을 사람이 직접 읽고 판단하는 평가입니다.규칙 기반 채점(rule-based scoring)"세 줄 형식을 지켰나", "존댓말을 썼나"처럼 코드로 검사할 수 있는 규칙으로 점수를 매기는 일입니다.LLM-as-a-Judge더 큰 LLM 에게 답변을 읽히고 채점을 맡기는 방법입니다. 선배 상담원이 신입의 답을 채점하는 것과 같습니다.부작용(side effect)학습 목표와 상관없는 질문에서 모델이 나빠지는 일입니다. 연수 중에 생긴 나쁜 버릇입니다.labels -100손실 계산에서 빼라는 표시입니다. 시험지의 문제 부분을 채점에서 빼는 것과 같습니다.가중 평균(weighted average)배치마다 토큰 수가 다를 때, 토큰 수만큼 무게를 주어 내는 평균입니다.어댑터(adapter)LoRA 가 학습한 A, B 행렬만 담은 작은 파일 묶음입니다. 갈아 끼우는 렌즈입니다.PeftModel.from_pretrained저장한 어댑터를 기반 모델에 붙여 불러오는 함수입니다. 렌즈를 카메라에 끼우기입니다.disable_adapter()with블록 안에서만 어댑터를 잠시 끄는 도구입니다. 블록을 나오면 다시 켜집니다.병합(merge)LoRA 의 변화량을 기반 가중치에 더해 하나의 모델로 만드는 일입니다. 필름을 원본에 코팅해 붙이기입니다.merge_and_unload()merge(합치기) + unload(LoRA 껍데기 떼어 내기)입니다. 결과는 보통의Qwen2ForCausalLM입니다.양자화(quantization)실수 값을 더 적은 비트로 어림해 저장하는 기술입니다. 고화질 사진을 작은 용량으로 저장하기입니다.정밀도(precision)숫자 하나를 몇 비트로 저장하는지입니다. FP32 는 4바이트, BF16 은 2바이트, 4비트는 0.5바이트입니다.NF4(4-bit NormalFloat)QLoRA 가 쓰는 4비트 형식입니다. 0 근처에 몰린 가중치 분포에 맞춰 16개의 눈금을 배치합니다.Double Quantization양자화에 쓰는 눈금 크기(스케일) 값들까지 한 번 더 양자화해 메모리를 더 줄이는 방법입니다.역양자화(dequantization)계산할 때 4비트 값을 BF16 으로 잠깐 되돌리는 일입니다. 압축 파일을 잠깐 풀어 쓰는 것과 같습니다.QLoRA(Quantized LoRA)4비트로 줄인 기반 모델에 LoRA 를 붙여 학습하는 방법입니다.BitsAndBytesConfigbitsandbytes라이브러리로 모델을 4비트로 읽을 때 쓰는 설정표입니다.get_memory_footprint()모델 가중치가 차지하는 메모리(발자국, footprint)를 바이트로 돌려주는 함수입니다.prepare_model_for_kbit_trainingk비트(여기서는 4비트)로 줄인 모델을 학습할 수 있게 준비하는 함수입니다.GGUFllama.cpp, Ollama 같은 도구가 내 PC 에서 모델을 돌릴 때 쓰는 파일 형식입니다.