실습 4 — 손실 곡선, 학습 전후 비교, 어댑터 저장

# 학습 중 기록된 손실을 꺼내 학습과 검증의 변화를 그래프로 비교합니다.
# trainer.state.log_history: 학습 중 찍은 기록(사전)의 리스트. "loss" 가 있으면 학습 기록, "eval_loss" 가 있으면 검증 기록
train_log = [(history["epoch"], history["loss"]) for history in trainer.state.log_history if "loss" in history]  # 학습 손실 기록만 고릅니다.
eval_log = [(history["epoch"], history["eval_loss"]) for history in trainer.state.log_history if "eval_loss" in history]  # 검증 손실 기록만 고릅니다.
# figsize=(가로, 세로) 인치
plt.figure(figsize=(7, 3.5))
# zip(*train_log): [(epoch, loss), ...] 를 (epoch 들, loss 들) 두 줄로 푼다
plt.plot(*zip(*train_log), marker="o", markersize=3, label="학습 손실 (train)")
plt.plot(*zip(*eval_log), marker="s", label="검증 손실 (valid)")
plt.xlabel("epoch")
plt.ylabel("loss")
plt.title("페르소나 LoRA 학습 곡선")
plt.legend()
# alpha=0.3: 격자를 옅게
plt.grid(alpha=0.3)
plt.show()
# 마지막 줄이 식이라 표가 찍힌다. 결과: epoch 1.0, 2.0, 3.0 의 eval_loss 3.126545, 3.122271, 3.208835
pd.DataFrame(eval_log, columns=["epoch", "eval_loss"])

# trainer.model: LoRA 가 붙은 채 학습이 끝난 모델
lora_model = trainer.model  # 학습이 끝난 LoRA 모델입니다.
# 실습 2와 같은 질문, 같은 chat 함수(같은 생성 조건)
after_answer_1 = chat(lora_model, question_1)
after_answer_2 = chat(lora_model, question_2)
# 결과: [학습 후] "체크리스트? 네가 넌 잘 알고 있다니. ..." 처럼 짧고 냉소적인 말투
print(f"Q: {question_1}\n[학습 전] {before_answer_1}\n[학습 후] {after_answer_1}\n")
print(f"Q: {question_2}\n[학습 전] {before_answer_2}\n[학습 후] {after_answer_2}")

# 학습한 LoRA 어댑터를 저장하고 파일이 얼마나 작은지 확인합니다.
ADAPTER_DIR = "outputs/persona-lora-adapter"  # 어댑터와 토크나이저를 저장할 폴더입니다.
# save_pretrained: PEFT 모델에서 부르면 기반 모델이 아니라 LoRA A·B 와 설정만 저장한다
lora_model.save_pretrained(ADAPTER_DIR)  # LoRA A·B 행렬과 설정만 저장합니다.
# 토크나이저도 같은 폴더에 두면 나중에 불러올 때 편하다
tokenizer.save_pretrained(ADAPTER_DIR)  # 같은 토크나이저 설정도 저장합니다.

# os.listdir: 폴더 안 파일 이름 목록. sorted 로 가나다(알파벳) 차례
for name in sorted(os.listdir(ADAPTER_DIR)):  # 저장된 파일 이름을 차례로 확인합니다.
    # getsize: 파일 크기(바이트)
    size = os.path.getsize(os.path.join(ADAPTER_DIR, name))  # 현재 파일의 바이트 수입니다.
    # {name:<28}: 28칸 왼쪽 맞춤, {...:8.2f}: 8칸에 소수 둘째 자리. 결과: adapter_model.safetensors 33.60 MB
    print(f"{name:<28} {size / 1024**2:8.2f} MB")

# named_parameters(): (이름, 파라미터) 짝. 이름에 "lora_" 가 없는 것이 기반 모델 몫
# 여기의 model 은 SFTTrainer 가 LoRA 를 붙인 그 모델이라 lora_ 를 빼고 센다
base_params = sum(p.numel() for name, p in model.named_parameters() if "lora_" not in name)  # LoRA를 뺀 기반 모델 파라미터 수입니다.
# 결과: 참고: 기반 모델 가중치(FP32) 크기 약 1,885 MB  (494,032,768 × 4바이트)
print(f"\n참고: 기반 모델 가중치(FP32) 크기 약 {base_params * 4 / 1024**2:,.0f} MB")
# adapter_config.json 의 base_model_name_or_path: 이 어댑터가 어느 기반 모델용인지
# 결과: Qwen/Qwen2.5-0.5B-Instruct <- 어댑터가 기억하는 기반 모델
print(json.load(open(f"{ADAPTER_DIR}/adapter_config.json"))["base_model_name_or_path"], "<- 어댑터가 기억하는 기반 모델")