프로젝트 1 — 디코딩 설정 비교표

# re = 정규식(글자 무늬 찾기) 도구. 한글 글자를 셀 때 쓴다
import re

import pandas as pd
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_NAME = "Qwen/Qwen2.5-0.5B-Instruct"

# 실습 1과 같은 방법으로 불러온다. 다른 장의 변수에 기대지 않는다
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
# dtype=torch.bfloat16 = 2바이트 숫자로 읽기, .to("cuda") = GPU 에 올리기
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, dtype=torch.bfloat16).to("cuda")
# 추론 모드로 바꾼다(dropout 끄기)
model.eval()
# 결과: 메모리 942 MB
print(f"메모리 {model.get_memory_footprint() / 1024**2:,.0f} MB")

question = "업무 실수를 줄이려면 체크리스트를 쓰는 게 좋을까?"
messages = [{"role": "user", "content": question}]

# 실습 2의 chat 함수와 같은 인자로 대본 양식을 입히고 GPU 로 옮긴다
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,  # <|im_start|>assistant 까지 붙여 답 칸을 연다
    return_tensors="pt",  # PyTorch 텐서로
    return_dict=True,  # input_ids 와 attention_mask 를 함께
).to(model.device)

# 입력 길이: 시스템 안내 + 질문 + 머리표의 토큰 수
prompt_len = inputs["input_ids"].shape[1]
# 결과: 입력 토큰 수: 54
print("입력 토큰 수:", prompt_len)

# 설정 이름 -> generate 에 넘길 인자. 샘플링은 top_k=0, top_p=1.0 으로 기본 거르개를 끄고 하나만 바꾼다
SETTINGS = {
    # Greedy: 늘 1등. 샘플링용 값은 None 으로 비워 "무시될 수 있다" 안내를 막는다
    "greedy": dict(do_sample=False, temperature=None, top_k=None, top_p=None),
    # 낮은 모험심: 1등 근처에 몰린다
    "temperature 0.3": dict(do_sample=True, temperature=0.3, top_k=0, top_p=1.0),
    # 높은 모험심: 거르개 없이 퍼진 분포에서 뽑는다
    "temperature 1.5": dict(do_sample=True, temperature=1.5, top_k=0, top_p=1.0),
    # 예선: 상위 20개 후보만(모델 기본값과 같은 k)
    "top-k 20": dict(do_sample=True, temperature=1.0, top_k=20, top_p=1.0),
    # 결선: 누적 80% 까지의 후보만
    "top-p 0.8": dict(do_sample=True, temperature=1.0, top_k=0, top_p=0.8),
}
SEEDS = [42, 7]  # 씨앗 두 개로 두 번씩 뽑는다
# 결과: 설정 5개 × 씨앗 2개 = 10번 생성
print(f"설정 {len(SETTINGS)}개 × 씨앗 {len(SEEDS)}개 = {len(SETTINGS) * len(SEEDS)}번 생성")

def hangul_ratio(text):
    # 빈칸을 뺀 글자 가운데 한글(가~힣)의 비율. 다른 나라 글자가 섞이면 낮아진다
    chars = text.replace(" ", "")
    return len(re.findall(r"[가-힣]", chars)) / max(len(chars), 1)

rows = []
for name, kwargs in SETTINGS.items():
    for seed in SEEDS:
        torch.manual_seed(seed)  # 제비뽑기의 출발점을 정한다
        with torch.inference_mode():  # 학습 기록을 끄고 생성만
            output = model.generate(
                **inputs,
                max_new_tokens=40,  # 새 토큰 40개까지
                repetition_penalty=1.2,  # 실습 2와 같은 반복 억제
                **kwargs,  # 설정별 인자를 풀어 넣는다
            )
        new_ids = output[0, prompt_len:].tolist()  # 새로 만든 토큰 번호만
        text = tokenizer.decode(new_ids, skip_special_tokens=True).strip().replace("\n", " ")
        rows.append({
            "설정": name,
            "씨앗": seed,
            "답": text,
            "고유 토큰 비율": len(set(new_ids)) / len(new_ids),  # 서로 다른 토큰 수 ÷ 전체 토큰 수
            "한글 비율": hangul_ratio(text),
        })
        # 답은 앞 45글자만 찍는다
        # 결과: greedy 는 두 씨앗이 같은 답, temperature 1.5 는 중국어 같은 다른 나라 글자가 섞인 답
        print(f"[{name} / 씨앗 {seed}] {text[:45]}")

df = pd.DataFrame(rows)

# 설정별로 묶어 세 지표를 낸다
table = df.groupby("설정", sort=False).agg(
    두_번_같음=("답", lambda s: s.iloc[0] == s.iloc[1]),  # 두 씨앗의 답이 같은가
    고유_토큰_비율=("고유 토큰 비율", "mean"),  # 두 번의 평균
    한글_비율=("한글 비율", "mean"),
).round(2)
# 결과: 두 번 같음은 greedy 만 True, 한글 비율은 temperature 1.5 만 0.06 으로 크게 낮다
print(table)

# 답까지 들어간 전체 표를 저장한다(utf-8-sig = 엑셀에서 한글이 깨지지 않게)
df.to_csv("out_ch06_decoding_table.csv", index=False, encoding="utf-8-sig")
print("저장:", "out_ch06_decoding_table.csv", df.shape)

# 다른 실습도 같은 GPU 를 쓰므로 모델을 지우고 메모리를 비운다
del model
torch.cuda.empty_cache()