실습 2 — √d_k 로 나누면 무엇이 달라질까

import numpy as np
import pandas as pd

np.random.seed(42)
rows = []
for d_k in [4, 16, 64, 256]:
    # 평균 0, 표준편차 1 인 Query 와 Key 를 1000 쌍 만든다
    q = np.random.randn(1000, d_k)
    k = np.random.randn(1000, d_k)
    # 쌍마다 내적: 같은 자리끼리 곱해 행마다 더한다
    s = (q * k).sum(axis=1)
    rows.append({
        "d_k": d_k,
        "√d_k": np.sqrt(d_k),
        "점수 표준편차": s.std().round(2),                  # 나누기 전
        "나눈 뒤 표준편차": (s / np.sqrt(d_k)).std().round(2),  # √d_k 로 나눈 뒤
    })

print(pd.DataFrame(rows))
# 결과: 나누기 전 2.07, 4.06, 7.86, 15.90 (√d_k 쯤), 나눈 뒤 1.04, 1.02, 0.98, 0.99

def softmax(x):
    e = np.exp(x - x.max())   # 한 줄 점수용 softmax
    return e / e.sum()

np.random.seed(7)
d_k = 64
q = np.random.randn(d_k)          # Query 하나
keys = np.random.randn(8, d_k)    # Key 여덟 개(낱말 8개)
s = keys @ q                      # (8, 64) @ (64,) → 점수 8개

before = softmax(s)                 # 나누지 않고
after = softmax(s / np.sqrt(d_k))   # √64 = 8 로 나누고

table = pd.DataFrame({"점수": s.round(1), "나누기 전": before.round(3), "나눈 뒤": after.round(3)})
print(table)
print("가장 큰 비율  나누기 전:", before.max().round(3), " 나눈 뒤:", after.max().round(3))
# 결과: 가장 큰 비율  나누기 전: 1.0  나눈 뒤: 0.491

import matplotlib.pyplot as plt

# 한글 글꼴(윈도우의 맑은 고딕)과 마이너스 기호 설정
plt.rcParams["font.family"] = "Malgun Gothic"
plt.rcParams["axes.unicode_minus"] = False

x = np.arange(8)                  # 낱말 번호 0~7
fig, ax = plt.subplots(figsize=(7, 3.2))
# 막대 두 묶음을 0.4 씩 옆으로 비켜 그린다
ax.bar(x - 0.2, before, width=0.4, label="나누기 전", color="#264653")
ax.bar(x + 0.2, after, width=0.4, label="√d_k 로 나눈 뒤", color="#e9c46a")
ax.set_xlabel("Key 낱말 번호")
ax.set_ylabel("softmax 비율")
ax.set_title("d_k = 64 에서 √d_k 로 나누기 전과 후")
ax.legend()
plt.tight_layout()
plt.show()
# 결과: 짙은 청록 막대는 4번 하나만 1.0, 겨자색 막대는 여덟 개가 모두 조금씩 높다