프로젝트 1 — 받아쓰기 연습지 만들기

import numpy as np
import pandas as pd
# AutoTokenizer = 모델 이름만 주면 맞는 토크나이저를 골라 주는 도구
from transformers import AutoTokenizer

# 실습 1과 같은 토크나이저(사전 61,790개)
tokenizer = AutoTokenizer.from_pretrained("tunib/electra-ko-en-small")
pad_id = tokenizer.pad_token_id      # [PAD] = 0
bos_id = tokenizer.cls_token_id      # [CLS] = 2, 실습 2에서 decoder_start_token_id 로 쓴 토큰
eos_id = tokenizer.sep_token_id      # [SEP] = 3, 문장 끝

# Decoder 가 맞힐 한국어 정답 세 문장
answers = ["저는 학생입니다", "스트레스를 관리하지 않으면 문제가 생길 수 있어.", "주차 공간이 필요하면 미리 문의해 주세요."]
# text_target= 만 주면 정답 쪽(labels)만 토큰화한다. 결과: 문장마다 토큰 ID 리스트
labels = tokenizer(text_target=answers, truncation=True, max_length=32)["input_ids"]

print("특수 토큰 ID:", pad_id, bos_id, eos_id)
for ids in labels:
    # convert_ids_to_tokens = 번호를 토큰 조각 글자로 되돌리기
    print(len(ids), tokenizer.convert_ids_to_tokens(ids))

# 가장 긴 문장의 토큰 수가 표의 열 수가 된다
max_len = max(len(ids) for ids in labels)
# np.full(모양, 값): 모든 칸을 -100(채점에서 빼는 칸)으로 채운 표
label_arr = np.full((len(labels), max_len), -100)
for i, ids in enumerate(labels):
    label_arr[i, :len(ids)] = ids    # 앞쪽부터 진짜 토큰 ID 를 채운다

def shift_right(label_arr, start_id, pad_id):
    # zeros_like: 같은 모양의 0 표
    decoder_input = np.zeros_like(label_arr)
    # 정답의 0~끝-1 열을 입력의 1~끝 열로 옮긴다(한 칸 오른쪽으로)
    decoder_input[:, 1:] = label_arr[:, :-1]
    # 비워진 맨 앞 열에 시작 토큰
    decoder_input[:, 0] = start_id
    # 정답의 빈칸(-100)이 밀려 들어온 자리는 [PAD] 로 바꾼다(모델 입력에 -100 은 없는 번호)
    decoder_input[decoder_input == -100] = pad_id
    return decoder_input

decoder_input = shift_right(label_arr, bos_id, pad_id)
print(label_arr.shape)                 # (문장 수, 최대 토큰 수)
print("정답  :", label_arr[0])
print("입력  :", decoder_input[0])

import torch
# shift_tokens_right = Marian 모델이 labels 를 한 칸 밀 때 쓰는 함수(DataCollatorForSeq2Seq 가 부른다)
from transformers.models.marian.modeling_marian import shift_tokens_right

# 인자: (정답 텐서, 패딩 ID, 시작 토큰 ID). 결과: 한 칸 민 텐서
lib = shift_tokens_right(torch.tensor(label_arr), pad_id, bos_id)
# np.array_equal = 두 표의 모양과 모든 칸이 같은지. 결과: True
print("라이브러리와 같은가:", np.array_equal(lib.numpy(), decoder_input))

rows = []
for s, sentence in enumerate(answers):
    for k in range(max_len):
        if label_arr[s, k] == -100:     # 빈칸에 닿으면 그 문장은 끝
            break
        # 위치 k 까지 보이는 입력: decoder_input 의 0~k 열
        seen = tokenizer.convert_ids_to_tokens(decoder_input[s, :k + 1].tolist())
        rows.append({"문장": s + 1, "위치": k + 1, "보이는 입력": " ".join(seen),
                     "맞힐 정답": tokenizer.convert_ids_to_tokens(int(label_arr[s, k]))})
sheet = pd.DataFrame(rows)
# 첫 문장 부분만 찍는다. to_string(index=False): 행 번호 없이 표 전체
print(sheet[sheet["문장"] == 1].to_string(index=False))

L = len(labels[0])                                  # 첫 문장의 토큰 수(6)
mask = np.triu(np.ones((L, L)), k=1).astype(bool)   # 대각선 위 = 미래 = 가릴 칸
rng = np.random.default_rng(42)                     # 씨앗 42: 매번 같은 점수
scores = rng.normal(size=(L, L)).round(1)           # 모델이 냈다고 치는 Attention 점수
masked = np.where(mask, -np.inf, scores)            # 미래 칸을 -inf 로
# 행마다 Softmax. e^-inf = 0 이라 가린 칸은 0
weights = np.exp(masked) / np.exp(masked).sum(axis=1, keepdims=True)

# 행·열 이름을 Decoder 입력 토큰으로 붙여 표로 본다
names = tokenizer.convert_ids_to_tokens(decoder_input[0, :L].tolist())
print(pd.DataFrame(weights.round(2), index=names, columns=names))
print("행 합:", weights.sum(axis=1).round(2))      # 모두 1 이어야 한다
print("가린 칸 합:", weights[mask].sum())           # 0 이어야 한다

# utf-8-sig: 엑셀에서 열어도 한글이 깨지지 않는 인코딩
sheet.to_csv("out_ch04_dictation.csv", index=False, encoding="utf-8-sig")
print("저장:", len(sheet), "행")