9장. 모델 평가와 활용, QLoRA
확인문제와 해답
객관식
Q1원본 노트북의 평가 관점 가운데 "학습 목표와 무관한 질문으로 확인"하는 것은 무엇일까요?
Q2build_features 에서 질문 자리의 labels 를 -100 으로 채우는 까닭은 무엇일까요?
Q3실습 1의 test loss 가 4.044 에서 3.19 로 줄었습니다. 이 값을 가장 바르게 읽은 것은 무엇일까요?
Q4with lora_model.disable_adapter(): 에 대한 설명으로 맞는 것은 무엇일까요?
Q5실습 3에서 어댑터와 병합 모델의 저장 크기는 각각 얼마였을까요?
Q6실습 4에서 4비트(NF4) 모델이 FP32 의 1/8(약 236MB)이 아니라 430MB 가 된 까닭은 무엇일까요?
Q7QLoRA 에서 높은 정밀도로 학습되는 것은 무엇일까요?
단답형
- LoRA 의 변화량을 기반 가중치에 더해 일반 모델로 만드는 PEFT 의 함수 이름은 무엇입니까?
정답 보기
merge_and_unload() - QLoRA 가 쓰는, 정규분포에 맞춰 16개의 눈금을 둔 4비트 형식의 이름은 무엇입니까?
정답 보기
NF4(4-bit NormalFloat) - 실습 5에서 같은 설정으로 학습한 QLoRA 의 마지막 검증 손실은 얼마였습니까?
정답 보기
3.298
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A, 4-C, 5-B, 6-D, 7-A
단답형: 1. merge_and_unload(). 2. NF4(4-bit NormalFloat). 3. 3.298.