실습 5 — QLoRA 로 같은 학습 해 보기

# LoRA 학습 조건을 복사하고 QLoRA 결과의 저장 경로만 바꿉니다.
# copy = 객체를 복사하는 표준 도구
import copy  # 학습 설정을 안전하게 복사합니다.

# deepcopy = 안쪽까지 통째로 복사. 그냥 대입하면 같은 설정표를 함께 써서 원본(sft_config)까지 바뀐다
q_sft_config = copy.deepcopy(sft_config)  # LoRA와 같은 학습 조건입니다.
# 배치 1, 그래디언트 누적 8, 학습률 2e-4, 3 epoch 등은 그대로 두고 저장 폴더만 바꾼다
q_sft_config.output_dir = "outputs/persona-qlora"  # QLoRA 결과는 다른 폴더에 저장합니다.

# 4비트로 압축한 기반 모델에 LoRA를 붙여 학습합니다.
# prepare_model_for_kbit_training = k비트(4·8비트) 모델을 학습할 수 있게 준비하는 함수
from peft import prepare_model_for_kbit_training  # 양자화 모델을 학습용으로 준비합니다.

# 실습 4와 같은 방법으로 4비트 기반 모델을 GPU 0번에 올린다
q_model = load_base_model(dtype=MODEL_DTYPE, quantization_config=bnb_config, device_map={"": 0})  # 4비트 기반 모델을 불러옵니다.
# 정규화층을 FP32 로 두고, 입력 임베딩에서 그래디언트가 흐르게 설정한다
q_model = prepare_model_for_kbit_training(q_model)  # 양자화 모델을 학습 가능하게 준비합니다.

# SFTTrainer = supervised fine-tuning trainer(모범 답안 학습 담당). 8차시 셀과 인자가 같고 model 과 args 만 다르다
q_trainer = SFTTrainer(  # 4비트 기반 모델용 Trainer를 만듭니다.
    model=q_model,  # 양자화한 기반 모델입니다.
    args=q_sft_config,  # 바로 위 셀의 QLoRA 설정입니다.
    # train 263개로 학습, valid 32개로 epoch 마다 검증
    train_dataset=persona_ds["train"],  # 학습 데이터입니다.
    eval_dataset=persona_ds["valid"],  # 검증 데이터입니다.
    processing_class=tokenizer,  # 템플릿 적용과 토큰화를 맡습니다.
    # peft_config=lora_config: r=16, lora_alpha=32, 7개 선형층. SFTTrainer 가 LoRA 를 붙여 준다
    peft_config=lora_config,  # 같은 LoRA 설정을 붙입니다.
)

# train() = 학습 시작. 99단계(263개 ÷ 8 ≈ 33단계 × 3 epoch). 결과: 표에 epoch 별 손실이 찍힌다
q_trainer.train()  # 4비트 기반 모델에 LoRA를 학습합니다.

# log_history: 학습 중 기록된 사전들의 리스트. eval_loss 가 있는 기록만 골라 검증 손실을 꺼낸다
qlora_eval_losses = [history["eval_loss"] for history in q_trainer.state.log_history if "eval_loss" in history]  # QLoRA 검증 손실 목록입니다.
summary = pd.DataFrame({  # 두 방식의 마지막 검증 손실을 비교합니다.
    # eval_log[-1][1]: 8차시 eval_log 의 마지막 (epoch, 손실) 중 손실
    "LoRA": [round(eval_log[-1][1], 3)],  # 5.5절에서 기록한 LoRA의 마지막 검증 손실입니다.
    "QLoRA": [round(qlora_eval_losses[-1], 3)],  # 4비트 QLoRA 결과입니다.
}, index=["마지막 검증 손실"])
# display = 노트북 전용 함수(표를 화면에 보여 준다). 결과: LoRA 3.209, QLoRA 3.298
display(summary)
# q_trainer.model: 학습이 끝난 4비트 기반 + LoRA 모델
# 결과: QLoRA 학습 후: 체크리스트에 휘둘리는 거다. 네 속은 무의미하다.
print("QLoRA 학습 후:", chat(q_trainer.model, "업무 실수를 줄이려면 체크리스트를 쓰는 게 좋을까?"))

# 이름을 지운다. 4비트 모델과 Trainer(옵티마이저 상태 포함)가 GPU 메모리를 붙잡고 있다
del q_trainer, q_model  # 양자화 모델과 Trainer 참조를 지웁니다.
gc.collect()  # 파이썬 객체를 정리합니다.
torch.cuda.empty_cache()  # GPU 캐시를 비웁니다.