실습 1 — Qwen 에 LoRA 붙였다 떼기

# Qwen의 Attention과 FFN에 있는 선형층에 LoRA를 적용합니다.
# LoraConfig = LoRA 설정표, get_peft_model = 모델에 LoRA 필름 붙이기
from peft import LoraConfig, get_peft_model  # Hugging Face 모델에 LoRA를 붙이는 도구입니다.

# 한 층에 일곱 곳: Attention 네 곳(q·k·v·o)과 FFN 세 곳(gate·up·down)
LORA_TARGETS = ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]  # Attention·FFN의 모든 선형층 이름입니다.
lora_config = LoraConfig(  # LoRA가 붙을 층과 학습할 행렬 크기를 정합니다.
    # r: 랭크(필름 두께). A 는 896→16, B 는 16→896
    r=16,  # 추가로 학습할 두 행렬의 중간 차원을 16으로 정합니다.
    # lora_alpha: 배율을 정하는 값. 실제로 곱하는 수는 alpha ÷ r = 2
    lora_alpha=32,  # LoRA 변화량에 곱할 배율을 정합니다. 실제 배율은 32/16=2입니다.
    # lora_dropout: LoRA 길의 값을 5% 확률로 꺼서 답만 외우는 것을 막는다
    lora_dropout=0.05,  # 학습 중 LoRA 경로의 일부 값을 5% 확률로 끕니다.
    # target_modules: 위의 일곱 이름과 같은 층에만 붙인다
    target_modules=LORA_TARGETS,  # 어떤 선형층에 LoRA 행렬을 추가할지 지정합니다.
    # task_type: CAUSAL_LM = 다음 토큰 맞히기 모델
    task_type="CAUSAL_LM",  # 다음 토큰 예측 모델임을 지정합니다.
)

# get_peft_model(모델, 설정표): 지정한 층마다 lora_A·lora_B 를 붙이고 나머지는 모두 얼린다
peft_model = get_peft_model(model, lora_config)  # 지정한 층에 LoRA 모듈을 붙입니다.
# print_trainable_parameters = 학습할 파라미터 수 찍기
# 결과: trainable params: 8,798,208 || all params: 502,830,976 || trainable%: 1.7497
peft_model.print_trainable_parameters()  # 전체 중 학습할 파라미터 비율을 출력합니다.
# base_model.model.model.layers[0]: PEFT 포장 → 원래 모델 → 몸통 → 0번 층
# 결과: lora.Linear( base_layer, lora_dropout, lora_A(896→16), lora_B(16→896) ... )
print(peft_model.base_model.model.model.layers[0].self_attn.q_proj)  # 첫 층의 q_proj가 LoRA 층으로 바뀌었는지 봅니다.

# LoRA가 붙은 층을 확인한 뒤 어댑터를 제거하고 기반 모델로 되돌립니다.
# unload() = LoRA 층을 빼고 원래 선형층만 남긴 모델을 돌려준다(학습한 값은 합치지 않는다)
model = peft_model.unload()  # LoRA 층을 제거하고 원래 모델로 되돌립니다.
# 포장된 모델을 가리키는 이름을 지운다
del peft_model  # 비교용 모델 참조를 삭제합니다.
# gc = garbage collector(쓰레기 수거). 이름이 없어진 객체의 메모리를 돌려받는다
gc.collect()  # 더 이상 쓰지 않는 객체를 정리합니다.
# 결과: <class 'torch.nn.modules.linear.Linear'>  (다시 보통 선형층)
print(type(model.model.layers[0].self_attn.q_proj))  # q_proj가 다시 일반 선형층인지 확인합니다.