프로젝트 1 — 어댑터 점검표 만들기

import pandas as pd
import torch
import transformers
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 생성 설정에 관한 안내 문구를 숨긴다(오류만 보이게). 결과 표를 깔끔하게 보려는 것이다
transformers.logging.set_verbosity_error()

MODEL_NAME = "Qwen/Qwen2.5-0.5B-Instruct"
ADAPTER_DIR = "outputs/persona-lora-adapter"   # 8차시에서 저장한 어댑터(읽기만 한다)

# 어댑터 폴더에 함께 저장한 토크나이저를 쓴다(학습 때와 같은 설정)
tokenizer = AutoTokenizer.from_pretrained(ADAPTER_DIR)
# dtype=torch.bfloat16: BF16 으로 읽어 GPU 에 올린다(약 942MB)
base = AutoModelForCausalLM.from_pretrained(MODEL_NAME, dtype=torch.bfloat16).to("cuda")
# 기반 모델에 어댑터를 붙인다. GPU 에 올라간 모델은 이것 하나뿐이다
model = PeftModel.from_pretrained(base, ADAPTER_DIR)
model.eval()
print(type(model).__name__, f"{torch.cuda.memory_allocated() / 1024**2:,.0f} MB")

def answer(question, max_new_tokens=40):
    # 6차시 chat 과 같은 방법: 대본 양식 → greedy 생성 → 새 토큰만 글로 바꾸기
    messages = [{"role": "user", "content": question}]
    inputs = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True, return_tensors="pt", return_dict=True
    ).to(model.device)
    with torch.inference_mode():
        # do_sample=False: 늘 가장 그럴듯한 토큰을 골라 끔·켬 비교를 공정하게 한다
        output = model.generate(**inputs, max_new_tokens=max_new_tokens,
                                do_sample=False, repetition_penalty=1.2)
    new_tokens = output[0, inputs["input_ids"].shape[1]:]
    return tokenizer.decode(new_tokens, skip_special_tokens=True).strip()

# (종류, 질문, 정답 낱말). 새 질문은 정답이 없어 None
questions = [
    ("새 질문", "회의 자료를 내일까지 만들어야 하는데 막막해.", None),
    ("새 질문", "운동을 꾸준히 하려면 어떻게 해야 할까?", None),
    ("새 질문", "친구 생일 선물로 뭘 사면 좋을까?", None),
    ("일반 질문", "대한민국의 수도는 어디인가요?", "서울"),
    ("일반 질문", "3 더하기 5는 얼마인가요?", "8"),
    ("일반 질문", "일주일은 며칠인가요?", "7"),
]
print(len(questions), "개 질문 준비")

rows = []
for kind, question, key in questions:
    # with 블록 안에서만 어댑터가 꺼진다 = 원래 Qwen 의 답
    with model.disable_adapter():
        off = answer(question)
    # 블록 밖 = 어댑터를 켠 답
    on = answer(question)
    rows.append({"종류": kind, "질문": question, "정답 낱말": key, "어댑터 끔": off, "어댑터 켬": on})

check = pd.DataFrame(rows)
for _, row in check.iterrows():
    # 줄바꿈을 띄어쓰기로 바꾸고 앞 40글자만 보인다
    print(f"[{row['종류']}] {row['질문']}")
    print("  끔:", row["어댑터 끔"].replace("\n", " ")[:40])
    print("  켬:", row["어댑터 켬"].replace("\n", " ")[:40])

def is_polite(text):
    # 본문 첫 절과 같은 단순 규칙: 존댓말 끝맺음이 있으면 True
    return any(end in text for end in ["니다", "세요", "요."])

def has_key(text, key):
    # 일반 질문만 정답 낱말을 검사한다. 새 질문은 빈칸(None)
    return None if key is None else key in text

for state in ["끔", "켬"]:
    check[f"존댓말({state})"] = check[f"어댑터 {state}"].apply(is_polite)
    check[f"정답({state})"] = [has_key(t, k) for t, k in zip(check[f"어댑터 {state}"], check["정답 낱말"])]

# 종류별 평균: True 를 1, False 를 0 으로 본 비율
summary = check.groupby("종류")[["존댓말(끔)", "존댓말(켬)"]].mean()
summary["정답(끔)"] = check.groupby("종류")["정답(끔)"].apply(lambda s: s.dropna().astype(float).mean())
summary["정답(켬)"] = check.groupby("종류")["정답(켬)"].apply(lambda s: s.dropna().astype(float).mean())
print(summary.round(2).to_string())

# utf-8-sig: 엑셀에서 한글이 깨지지 않는 인코딩
check.to_csv("out_ch09_adapter_check.csv", index=False, encoding="utf-8-sig")
print("저장: out_ch09_adapter_check.csv", check.shape)

# 프로젝트에서 올린 모델을 지워 다른 작업이 GPU 를 쓸 수 있게 한다
del model, base
torch.cuda.empty_cache()
print(f"남은 GPU 메모리 사용량: {torch.cuda.memory_allocated() / 1024**2:,.0f} MB")