실습 1 — 평가 데이터로 학습 전후 손실 비교하기

# 평가 데이터의 질문과 답변을 모델 입력과 정답 토큰으로 바꿉니다.
# build_features = 평가용 입력(feature) 세 가지 만들기
def build_features(prompt, response):
    # 질문 메시지 하나만 담은 리스트
    prompt_messages = [{"role": "user", "content": prompt}]  # 질문만 있는 메시지입니다.
    # 질문 뒤에 assistant(모델) 역할의 정답 답변을 이어 붙인다
    full_messages = prompt_messages + [{"role": "assistant", "content": response}]  # 정답까지 포함한 메시지입니다.

    # apply_chat_template = 대본 양식 입히기. 결과는 토큰 번호 리스트
    # add_generation_prompt=True: 끝에 "<|im_start|>assistant" 머리표까지 붙여 답변이 시작될 자리를 정확히 잰다
    prompt_ids = tokenizer.apply_chat_template(prompt_messages, add_generation_prompt=True)  # 정답이 시작되기 전 토큰입니다.
    # 질문 + 답변 + 끝 표시(<|im_end|>)까지의 전체 토큰
    full_ids = tokenizer.apply_chat_template(full_messages)  # 질문과 정답 전체의 토큰입니다.

    # 앞의 질문 길이만큼은 -100(채점에서 빼기), 그 뒤는 실제 토큰 번호(채점할 정답)
    labels = [-100] * len(prompt_ids) + full_ids[len(prompt_ids):]  # 질문 부분을 -100으로 표시해 손실 계산에서 제외합니다.
    # attention_mask 는 모두 1(패딩이 아직 없으므로 전부 읽을 칸)
    return {"input_ids": full_ids, "attention_mask": [1] * len(full_ids), "labels": labels}  # 평가에 필요한 세 배열을 반환합니다.

# 모델이 정답 답변의 각 토큰을 얼마나 잘 예측했는지 평균 손실로 계산합니다.
# pad_sequence = 길이가 다른 텐서들을 가장 긴 길이에 맞춰 빈칸(패딩)을 채워 하나로 쌓는 도구
from torch.nn.utils.rnn import pad_sequence  # 길이가 다른 예시를 패딩해 배치로 묶습니다.

# model: 평가할 모델, dataset: 평가 데이터, batch_size=1: 한 번에 예시 1개씩
def evaluate_loss(model, dataset, batch_size=1):  # 같은 평가 절차를 기반 모델과 LoRA 모델에 적용합니다.
    # row["prompt"][0]["content"] 는 질문 글, row["completion"][0]["content"] 는 정답 답변 글(7차시의 대화형 꼴)
    features = [build_features(row["prompt"][0]["content"], row["completion"][0]["content"]) for row in dataset]  # 모든 대화를 토큰 배열로 바꿉니다.
    # 배열마다 빈칸에 채울 값: 입력은 패딩 토큰 번호, 마스크는 0(읽지 마), labels 는 -100(채점하지 마)
    pad_values = {"input_ids": tokenizer.pad_token_id, "attention_mask": 0, "labels": -100}  # 입력은 패딩 토큰, 마스크는 0, 정답은 -100으로 채웁니다.
    total_loss, total_tokens = 0.0, 0  # 전체 손실과 정답 토큰 수를 누적합니다.
    # eval() = 평가 모드: dropout(일부 값 끄기)을 멈춰 매번 같은 결과가 나오게 한다
    model.eval()  # 평가 모드로 전환합니다.
    for start in range(0, len(features), batch_size):  # 평가 예시를 배치 크기만큼 나눕니다.
        # 이번 차례의 예시 묶음
        chunk = features[start:start + batch_size]
        batch = {  # 길이가 다른 배열을 패딩해 배치로 묶습니다.
            # batch_first=True: (예시 수, 길이) 모양으로 쌓는다. to(model.device): 모델이 있는 GPU 로 보낸다
            key: pad_sequence([torch.tensor(feature[key]) for feature in chunk], batch_first=True, padding_value=pad).to(model.device)  # 현재 항목을 모델 장치의 텐서로 만듭니다.
            for key, pad in pad_values.items()  # input_ids·mask·labels에 같은 작업을 반복합니다.
        }
        # inference_mode = 추론 전용 모드: 고칠 방향(그래디언트)을 기록하지 않아 메모리와 시간을 아낀다
        with torch.inference_mode():  # 평가에서는 그래디언트를 계산하지 않습니다.
            # labels 를 함께 넣으면 모델이 손실(out.loss)까지 계산해 돌려준다
            out = model(**batch)  # 현재 배치의 손실과 로짓을 얻습니다.
        # [:, 1:]: 첫 토큰은 "앞 토큰"이 없어 예측 대상이 아니므로 뺀다. -100 이 아닌 칸만 센다
        n_tokens = (batch["labels"][:, 1:] != -100).sum().item()  # 다음 토큰 예측에서 첫 위치를 제외하고 정답 토큰 수를 셉니다.
        # out.loss 는 이 배치의 평균. 토큰 수를 곱해 "합계"로 되돌린 뒤 더한다
        total_loss += out.loss.item() * n_tokens  # 평균 손실을 토큰 수로 가중해 더합니다.
        total_tokens += n_tokens  # 전체 정답 토큰 수를 더합니다.
    # 합계 ÷ 전체 토큰 수 = 답변 토큰 하나당 평균 벌점
    return total_loss / total_tokens  # 답변 토큰 기준 평균 손실을 반환합니다.

# test: 학습에도 검증에도 쓰지 않은 32개(7차시에서 나눈 것)
test_dataset = persona_ds["test"]  # 학습에 쓰지 않은 평가 데이터입니다.
# 어댑터를 켠 상태(학습 후)의 손실
lora_loss = evaluate_loss(lora_model, test_dataset)  # LoRA 모델의 손실입니다.
# disable_adapter() = 어댑터 잠시 끄기. with 블록 안에서만 꺼지고 나오면 다시 켜진다
with lora_model.disable_adapter():  # 이 블록 안에서는 LoRA를 끄고 원래 모델로 계산합니다.
    # 같은 모델, 같은 데이터에서 어댑터만 끈 손실 = 학습 전 손실
    base_loss = evaluate_loss(lora_model, test_dataset)  # 같은 모델에서 어댑터만 끈 손실입니다.

eval_table = pd.DataFrame({  # 전후 손실을 나란히 비교할 표입니다.
    "학습 전 (어댑터 끔)": [base_loss],  # 기반 모델 손실입니다.
    "학습 후 (LoRA)": [lora_loss],  # LoRA 모델 손실입니다.
    # index: 행 이름. round(3): 소수 셋째 자리까지
}, index=["test loss"]).round(3)
# 셀의 마지막 줄이 표 이름이면 노트북이 표를 그대로 보여 준다
# 결과: 학습 전 (어댑터 끔) 4.044, 학습 후 (LoRA) 3.19
eval_table