프로젝트 1 — 고객 문의를 SFT 데이터로 바꾸기

import json
import pandas as pd

# 문의(inquiry), 분류(category), 긴급도(urgency), 모범 답변(answer) 네 열
support_df = pd.read_csv("data/support_inquiries.csv")
print("행 수:", len(support_df))
# 열마다 빈칸 수
print("빈값:", support_df.isna().sum().to_dict())
# 같은 문의가 두 번 들어 있는지
print("중복 문의:", support_df["inquiry"].duplicated().sum())
# value_counts: 값마다 몇 번 나왔는지(pandas 의 도수분포표)
print("분류별 건수:", support_df["category"].value_counts().to_dict())
print("긴급도별 건수:", support_df["urgency"].value_counts().to_dict())
print("답변 글자 수:", support_df["answer"].str.len().agg(["min", "median", "max"]).to_dict())

def to_completion(row):
    # 행 하나를 "분류 / 긴급도 / 답변" 세 줄 글로 만든다. \n 은 줄바꿈
    return f"분류: {row['category']}\n긴급도: {row['urgency']}\n답변: {row['answer']}"

# apply(함수, axis=1): 행마다 함수를 불러 새 열을 만든다
support_df["completion_text"] = support_df.apply(to_completion, axis=1)
# 첫 행의 세 줄 글을 본다
print(support_df.loc[0, "completion_text"])

parts = {"test": [], "valid": [], "train": []}
# groupby("category"): 분류가 같은 행끼리 묶어 하나씩 꺼낸다(결제 20행, 계정 20행 …)
for category, group in support_df.groupby("category"):
    # 실습 2 와 같은 방법으로 분류 안에서 섞는다
    shuffled = group.sample(frac=1, random_state=42)
    # int(20 * 0.1) = 2
    n_hold = int(len(shuffled) * 0.1)
    parts["test"].append(shuffled.iloc[:n_hold])
    parts["valid"].append(shuffled.iloc[n_hold:2 * n_hold])
    parts["train"].append(shuffled.iloc[2 * n_hold:])

# pd.concat: 분류별 조각 다섯 개를 위아래로 붙여 표 하나로
support_splits = {name: pd.concat(frames).reset_index(drop=True) for name, frames in parts.items()}
for name, part in support_splits.items():
    # sort_index(): 분류 이름 차례로 늘어놓아 묶음끼리 견주기 쉽게 한다
    print(name, len(part), part["category"].value_counts().sort_index().to_dict())

from datasets import Dataset, DatasetDict

def to_support_dataset(df):
    # 실습 2 의 to_dataset 과 같은 꼴. 질문은 inquiry, 답은 세 줄 글
    records = [
        {"prompt": [{"role": "user", "content": q}], "completion": [{"role": "assistant", "content": c}]}
        for q, c in zip(df["inquiry"], df["completion_text"])
    ]
    return Dataset.from_list(records)

support_ds = DatasetDict({name: to_support_dataset(part) for name, part in support_splits.items()})
print(support_ds)
print(support_ds["train"][0])

from transformers import AutoTokenizer

# 모델은 불러오지 않고 토크나이저만 불러온다(CPU 로 몇 초)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")

rows = []
for name, ds in support_ds.items():
    for ex in ds:
        # 질문 쪽: system 기본 문구 + 질문 + assistant 머리표(추론 입력과 같은 모양)
        prompt_ids = tokenizer.apply_chat_template(ex["prompt"], tokenize=True, add_generation_prompt=True)
        # 전체: 질문 + 세 줄 답 + <|im_end|>(학습 입력과 같은 모양)
        full_ids = tokenizer.apply_chat_template(ex["prompt"] + ex["completion"], tokenize=True)
        rows.append({"split": name, "prompt_tokens": len(prompt_ids),
                     # 답 쪽 = 전체 - 질문 쪽. 학습 때 labels 가 -100 이 아닌 칸 수와 같다
                     "answer_tokens": len(full_ids) - len(prompt_ids),
                     "total_tokens": len(full_ids)})

lengths = pd.DataFrame(rows)
# 묶음별 평균과 최대. round(1): 소수 첫째 자리까지
print(lengths.groupby("split")[["prompt_tokens", "answer_tokens", "total_tokens"]].agg(["mean", "max"]).round(1))
print("가장 긴 예시:", lengths["total_tokens"].max(), "토큰")

# train 첫 예시가 실제로 어떤 대본이 되는지 본다
first = support_ds["train"][0]
print(tokenizer.apply_chat_template(first["prompt"] + first["completion"], tokenize=False))

# 묶음마다 JSONL 로 저장: 한 줄에 예시 하나
for name, ds in support_ds.items():
    with open(f"out_ch07_support_{name}.jsonl", "w", encoding="utf-8") as f:
        for ex in ds:
            f.write(json.dumps(ex, ensure_ascii=False) + "\n")
lengths.to_csv("out_ch07_token_lengths.csv", index=False, encoding="utf-8-sig")
print("저장: out_ch07_support_train.jsonl, out_ch07_support_valid.jsonl, out_ch07_support_test.jsonl, out_ch07_token_lengths.csv")