프로젝트 1 — Qwen 설계도 읽기

import pandas as pd
# AutoModelForCausalLM = 다음 낱말 맞히기용 모델을 이름만 보고 불러오는 도구
from transformers import AutoModelForCausalLM

model_name = "Qwen/Qwen2.5-0.5B-Instruct"
# device_map 을 주지 않으면 CPU 에 올라간다. dtype="auto" = 저장된 bfloat16 그대로
model = AutoModelForCausalLM.from_pretrained(model_name, dtype="auto")

print("정밀도:", model.dtype)                       # 결과: torch.bfloat16
print("장치:", model.device)                        # 결과: cpu
print("층 수:", model.config.num_hidden_layers)      # 결과: 24
# is = 같은 객체인지. True 면 lm_head 와 임베딩이 숫자 표 하나를 함께 쓴다
print("lm_head 가 임베딩 표를 함께 쓰나:", model.lm_head.weight is model.model.embed_tokens.weight)

def group_of(name):
    # 파라미터 이름에 든 낱말로 묶음을 정한다(차례가 중요: norm 검사는 마지막)
    if "embed_tokens" in name:
        return "임베딩"
    if "self_attn" in name:
        return "Attention"
    if "mlp" in name:
        return "FFN"
    if "norm" in name:
        return "Norm"
    return "기타"

rows = []
# named_parameters() = (이름, 파라미터 텐서) 짝을 차례로 돌려준다
for name, param in model.named_parameters():
    # numel = number of elements(숫자 개수), shape = 모양
    rows.append({"이름": name, "묶음": group_of(name),
                 "모양": tuple(param.shape), "개수": param.numel()})
params = pd.DataFrame(rows)

print("파라미터 텐서 수:", len(params))
# 0번 층의 행만 골라 본다(층 하나의 부품 목록)
layer0 = params[params["이름"].str.startswith("model.layers.0.")]
print(layer0.to_string(index=False))

# 묶음별 합계를 큰 차례로. to_frame() = Series 를 표로
table = params.groupby("묶음")["개수"].sum().sort_values(ascending=False).to_frame()
total = int(table["개수"].sum())
# 비율 = 묶음 개수 ÷ 전체 × 100, 소수 둘째 자리
table["비율(%)"] = (table["개수"] / total * 100).round(2)

print(table.to_string(formatters={"개수": "{:,}".format}))
print(f"합계: {total:,}")
print("기타 묶음이 없나:", "기타" not in table.index)

# 층 하나 안에서의 비율도 본다
per_layer = layer0.groupby("묶음")["개수"].sum()
print("0번 층:", {k: f"{v:,}" for k, v in per_layer.items()})

# utf-8-sig = 엑셀에서 한글이 깨지지 않게 저장
table.to_csv("out_ch05_param_table.csv", encoding="utf-8-sig")

import gc

# 메모리 = 파라미터 수 × 숫자 하나의 바이트 수
for label, nbytes in [("FP32", 4), ("BF16", 2), ("4비트", 0.5)]:
    print(f"{label}: {total:,} × {nbytes} = {total * nbytes / 1e9:.2f} GB")

# get_memory_footprint = 모델이 실제로 차지한 바이트(파라미터 + 버퍼)
real = model.get_memory_footprint()
by_hand = total * 2
# buffers() = 학습하지 않는 고정 값(RoPE 의 회전 주파수 등). element_size = 숫자 하나의 바이트
buffer_bytes = sum(b.numel() * b.element_size() for b in model.buffers())
print(f"실제: {real:,} 바이트, 손계산(BF16): {by_hand:,} 바이트, 차이: {real - by_hand} 바이트")
print(f"버퍼: {buffer_bytes} 바이트")

# 다른 장의 실습과 메모리를 나눠 쓰므로 모델을 지운다
del model
gc.collect()
print("모델을 메모리에서 지웠습니다.")