프로젝트 1 — 공지문 토큰 수 계산기

import pandas as pd

# 공지 세 개를 한국어와 영어로 적은 표. 한 행이 같은 뜻의 공지 한 쌍이다
notices = pd.DataFrame({
    "공지": ["회의", "엘리베이터", "보안"],
    "한국어": [
        "다음 주 월요일 오전 10시에 3층 대회의실에서 전체 회의가 있습니다.",
        "건물 점검으로 금요일 오후 6시부터 엘리베이터 운행을 멈춥니다.",
        "개인정보 보호를 위해 퇴근 전에 모니터 화면을 잠가 주십시오.",
    ],
    "영어": [
        "There is an all-hands meeting in the main conference room on the 3rd floor next Monday at 10 a.m.",
        "Elevator service will stop from 6 p.m. on Friday for a building inspection.",
        "To protect personal information, please lock your monitor screen before you leave work.",
    ],
})
# 결과: (3, 3)  공지 3개 × 열 3개
print(notices.shape)

from transformers import AutoTokenizer

# Qwen(Byte-level BPE)과 BERT(WordPiece) 토크나이저. 모델 무게는 내려받지 않는다
qwen = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
bert = AutoTokenizer.from_pretrained("bert-base-uncased")

# 사전 크기. 결과: Qwen 151,665 / BERT 30,522
print(f"Qwen {len(qwen):,} / BERT {len(bert):,}")

def count_tokens(tokenizer, text):
    # 특수 토큰을 빼고 센 토큰 수. 두 토크나이저에 똑같이 쓴다
    return len(tokenizer(text, add_special_tokens=False)["input_ids"])

rows = []
# iterrows = 표를 한 행씩 꺼내기. _ 는 행 번호(쓰지 않음), row 는 그 행
for _, row in notices.iterrows():
    for lang in ["한국어", "영어"]:
        text = row[lang]
        rows.append({
            "공지": row["공지"],
            "언어": lang,
            "글자 수": len(text),
            "Qwen 토큰": count_tokens(qwen, text),
            "BERT 토큰": count_tokens(bert, text),
        })

# 행 사전 6개로 긴 표를 만든다(공지 3 × 언어 2)
table = pd.DataFrame(rows)
# 글자당 Qwen 토큰 = 토큰 수 ÷ 글자 수. 소수 둘째 자리까지
table["글자당 Qwen 토큰"] = (table["Qwen 토큰"] / table["글자 수"]).round(2)
# 결과: 한국어 행은 글자당 0.69~0.86, 영어 행은 0.17~0.28
print(table.to_string(index=False))

# pivot = 긴 표를 넓은 표로. 행은 공지, 열은 언어, 값은 Qwen 토큰 수
pivot = table.pivot(index="공지", columns="언어", values="Qwen 토큰")
pivot["한국어÷영어"] = (pivot["한국어"] / pivot["영어"]).round(2)
# 결과: 보안 1.73, 엘리베이터 1.67, 회의 1.00
print(pivot)

# 언어별 합계. 결과: 한국어 108글자 83토큰, 영어 259글자 60토큰
print(table.groupby("언어")[["글자 수", "Qwen 토큰"]].sum())

first_ko = notices.loc[0, "한국어"]

# Qwen 조각: 번호를 하나씩 decode 해서 본다
q_ids = qwen(first_ko, add_special_tokens=False)["input_ids"]
print([qwen.decode([i]) for i in q_ids])
# BERT 조각: 한글을 자모로 쪼개고, 사전에 없는 것은 [UNK](unknown, 모름)으로 둔다
print(bert.tokenize(first_ko))

# utf-8-sig = 엑셀에서 열어도 한글이 깨지지 않는 저장 방식
table.to_csv("out_ch02_notice_tokens.csv", index=False, encoding="utf-8-sig")
print("저장: out_ch02_notice_tokens.csv", table.shape)  # 결과: 저장: out_ch02_notice_tokens.csv (6, 6)