먼저 큰 그림부터

오래된 아파트를 새집처럼 바꾸고 싶다고 해 봅시다. 벽을 허물고 배관까지 다시 까는 전체 리모델링은 돈도 시간도 많이 듭니다. 집이 열 채라면 열 번을 다 해야 합니다. 그런데 바꾸고 싶은 것이 "분위기"뿐이라면 가구와 커튼만 바꿔도 충분합니다. 벽과 배관은 그대로 두고, 바꾼 가구는 다른 집에 옮겨 놓을 수도 있습니다. LLM 을 업무에 맞게 다시 가르칠 때도 같습니다. 모델의 가중치를 모두 고치는 Full Fine-tuning 은 전체 리모델링이고, 대부분은 얼려 두고 작은 부분만 학습하는 PEFT 는 가구만 바꾸기입니다. 이 장에서 쓰는 LoRA 는 원본 사진 위에 덧붙이는 얇은 투명 필름입니다. 원본은 손대지 않고 필름에만 그림을 그립니다.

이 장에서 챙겨 갈 것은 세 가지입니다. 첫째, 전체 학습이 왜 무거운지를 "파라미터 하나당 몇 바이트"로 손계산해 봅니다. 둘째, LoRA 가 큰 행렬 W 옆에 작은 행렬 A, B 두 장을 붙이는 원리와, 896×896 층에 r = 16 이면 28,672 개만 학습한다는 계산을 손으로 해 봅니다. 셋째, 7장에서 만든 persona_ds 로 Qwen2.5-0.5B-Instruct 에 LoRA 를 붙여 실제로 학습하고, 손실 곡선을 읽고, 학습 전후의 답을 비교하고, 33.60 MB 짜리 어댑터를 저장합니다. pandas 로 epoch 별 평균을 꺾은선으로 그려 보던 경험이 "손실 곡선 읽기"로 그대로 이어집니다.