실습 1 — 세 낱말로 Self-Attention 한 번 계산하기

import numpy as np
import pandas as pd

# 소수 둘째 자리까지, 지수 표기 없이 찍는다
np.set_printoptions(precision=2, suppress=True)

# 문장 "나는 사과를 먹었다" 의 낱말 3개
words = ["나는", "사과를", "먹었다"]
# X: 낱말 3개 × 특징 4개 (설명을 위해 정한 값. 실제로는 2차시의 임베딩 + 위치 인코딩)
X = np.array([[1, 0, 1, 0],
              [0, 2, 0, 1],
              [1, 1, 0, 2]], dtype=float)

# DataFrame 으로 감싸 행 이름(낱말)과 함께 본다
print(pd.DataFrame(X, index=words, columns=["f0", "f1", "f2", "f3"]))
# 결과: 3행 4열 표
print("X shape:", X.shape)
# 결과: X shape: (3, 4) → 낱말 3개, d_model 4

# 씨앗(seed)을 0 으로 고정하면 실행할 때마다 같은 무작위 값이 나온다
np.random.seed(0)
# randn(4, 4): 평균 0, 표준편차 1 인 무작위 숫자 4×4. × 0.5 로 크기를 줄이고 소수 첫째 자리로 반올림
W_Q = np.round(np.random.randn(4, 4) * 0.5, 1)
W_K = np.round(np.random.randn(4, 4) * 0.5, 1)
W_V = np.round(np.random.randn(4, 4) * 0.5, 1)

# Q = XW_Q, K = XW_K, V = XW_V : (3, 4) @ (4, 4) → (3, 4)
Q = X @ W_Q
K = X @ W_K
V = X @ W_V

print("Q =\n", Q)
print("K =\n", K)
print("Q, K, V shape:", Q.shape, K.shape, V.shape)
# 결과: 세 개 모두 (3, 4) → 낱말마다 검색어, 이름표, 본문이 하나씩

# K.T: K 를 전치해 (4, 3). (3, 4) @ (4, 3) → (3, 3)
scores = Q @ K.T
print(pd.DataFrame(scores.round(2), index=words, columns=words))
# 결과: 행 = 찾는 낱말(Query), 열 = 찾아지는 낱말(Key)

# 손계산 대조: '나는' 의 Q 와 '나는' 의 K 를 같은 자리끼리 곱해 더한다
print("손계산:", " + ".join(f"{q:.1f}×{k:.1f}" for q, k in zip(Q[0], K[0])), "=", round(float(Q[0] @ K[0]), 2))
# 결과: scores 의 왼쪽 위 칸과 같은 값

def softmax(x):
    # 행마다 가장 큰 값을 빼고 exp: 비율은 같고 숫자가 넘치지 않는다
    e = np.exp(x - x.max(axis=-1, keepdims=True))
    # 행마다 합으로 나눈다 → 행 합 1
    return e / e.sum(axis=-1, keepdims=True)

d_k = K.shape[1]                     # Key 벡터의 길이 = 4
weights = softmax(scores / np.sqrt(d_k))   # √4 = 2 로 나눈 뒤 비율로

attn = pd.DataFrame(weights.round(3), index=words, columns=words)
print(attn)
# 결과: 행마다 합이 1 인 비율 표. "나는" 행은 0.340 0.138 0.522
print("행 합:", weights.sum(axis=1).round(3))
# 결과: 행 합: [1. 1. 1.]
print("가장 많이 참고한 낱말:", attn.idxmax(axis=1).to_dict())
# 결과: {'나는': '먹었다', '사과를': '나는', '먹었다': '나는'}

# (3, 3) @ (3, 4) → (3, 4): 낱말 수와 폭이 입력과 같다
output = weights @ V
print("output =\n", output)
print("output shape:", output.shape)
# 결과: (3, 4) → X 와 같은 모양

# 손계산 대조: '사과를' 의 새 벡터 = 가중치 세 개 × V 세 줄의 합
manual = weights[1, 0] * V[0] + weights[1, 1] * V[1] + weights[1, 2] * V[2]
print("손계산:", manual.round(2))
# 결과: output 의 둘째 행과 같은 값