프로젝트 1 — '그것'이 가리키는 낱말 찾기

import numpy as np
import pandas as pd

# 낱말 6개
words = ["작업자가", "장비를", "점검한", "뒤", "그것을", "정지했다"]
features = ["사람", "사물", "동작", "사물 가리킴", "사람 가리킴"]

# 특징표 X (설명을 위해 정한 값): 1 이면 그 성질이 있다
X = np.array([
    [1.0, 0.0, 0.0, 0.0, 0.0],   # 작업자가: 사람
    [0.0, 1.0, 0.0, 0.0, 0.0],   # 장비를: 사물
    [0.0, 0.0, 1.0, 0.0, 0.0],   # 점검한: 동작
    [0.0, 0.0, 0.3, 0.0, 0.0],   # 뒤: 동작의 차례를 조금 나타냄
    [0.0, 0.0, 0.0, 1.0, 0.0],   # 그것을: 사물을 가리키는 말
    [0.0, 0.0, 1.0, 0.0, 0.0],   # 정지했다: 동작
])
print(pd.DataFrame(X, index=words, columns=features))
# 결과: 6행 5열 특징표

# W_Q: 기본은 "자기 특징과 같은 것을 조금 찾는다"(대각선 0.5)
W_Q = np.eye(5) * 0.5
W_Q[3, 1] = 4.0   # 사물 가리킴(3번) → 사물(1번)을 강하게 찾는다
W_Q[4, 0] = 4.0   # 사람 가리킴(4번) → 사람(0번)을 강하게 찾는다

Q = X @ W_Q       # (6, 5) @ (5, 5) → (6, 5)
K = X             # 이름표는 특징 그대로
V = X             # 넘겨 줄 내용도 특징 그대로

print("'그것을' 의 Q:", dict(zip(features, Q[4])))
# 결과: 사물 칸이 4.0, 사물 가리킴 칸이 0.5 → "사물인 낱말을 찾는다"

def softmax(x):
    e = np.exp(x - x.max(axis=-1, keepdims=True))
    return e / e.sum(axis=-1, keepdims=True)

d_k = K.shape[1]                                   # 5
weights = softmax(Q @ K.T / np.sqrt(d_k))          # (6, 6), √5 ≈ 2.24 로 나눈다
table = pd.DataFrame(weights, index=words, columns=words)

print(table.round(2))
print("행 합:", table.sum(axis=1).round(3).tolist())
# 결과: 6×6 비율 표, 행 합은 모두 1.0

row = table.loc["그것을"].sort_values(ascending=False)   # 큰 순서로
print(row.round(3))
print("가장 많이 참고한 낱말:", row.idxmax())
# 결과: 장비를

# '그것을' 의 새 벡터 = 가중치 × V
new_vec = weights[4] @ V
print("새 벡터:", dict(zip(features, new_vec.round(2))))
# 결과: 사물 칸이 0 → 0.53 으로 커졌다 → '그것을' 에 장비 정보가 섞였다

def find_referent(words, X, pronoun):
    # 특징표 X 로 가중치표를 만들고, pronoun 행에서 자기 자신을 뺀 가장 큰 낱말을 돌려준다
    Q, K = X @ W_Q, X
    w = pd.DataFrame(softmax(Q @ K.T / np.sqrt(K.shape[1])), index=words, columns=words)
    r = w.loc[pronoun].drop(pronoun)
    return r.idxmax(), round(float(r.max()), 3)

words2 = ["작업자가", "장비를", "점검한", "뒤", "그는", "퇴근했다"]
X2 = X.copy()
X2[4] = [0.0, 0.0, 0.0, 0.0, 1.0]   # 그는: 사람을 가리키는 말

print("그것을 →", find_referent(words, X, "그것을"))
print("그는   →", find_referent(words2, X2, "그는"))
# 결과: 그것을 → ('장비를', 0.533), 그는 → ('작업자가', 0.533)

import matplotlib.pyplot as plt

plt.rcParams["font.family"] = "Malgun Gothic"   # 한글 글꼴
plt.rcParams["axes.unicode_minus"] = False

fig, ax = plt.subplots(figsize=(6, 4.8))
im = ax.imshow(weights, cmap="YlGnBu")           # 칸이 진할수록 많이 참고
ax.set_xticks(range(6), words, rotation=30)
ax.set_yticks(range(6), words)
ax.set_xlabel("Key(참고되는 낱말)")
ax.set_ylabel("Query(참고하는 낱말)")
# 칸마다 숫자를 적는다
for i in range(6):
    for j in range(6):
        # 짙은 칸(0.4 넘음)은 흰 글자, 나머지는 검은 글자
        ax.text(j, i, f"{weights[i, j]:.2f}", ha="center", va="center", fontsize=8,
                color="white" if weights[i, j] > 0.4 else "black")
fig.colorbar(im)
ax.set_title("'그것을' 이 가리키는 낱말 찾기")
plt.tight_layout()
plt.show()

table.round(4).to_csv("out_ch03_attention_table.csv", encoding="utf-8-sig")
print("저장: out_ch03_attention_table.csv", table.shape)
# 결과: 저장: out_ch03_attention_table.csv (6, 6)