5장. Decoder-only LLM과 학습 단계

정리

• GPT 는 Transformer 에서 Decoder 만 가져오고 Cross-Attention 을 뺀 모델입니다. 블록 안에는 Masked Self-Attention 과 FFN 만 남습니다.
• 사전학습은 다음 토큰 예측 하나로 문법, 지식, 계산을 익힙니다. 텍스트 자체가 정답인 자기지도학습이라 사람이 정답을 달 필요가 없습니다.
• GPT-1(1.17억) → GPT-2(15억) → GPT-3(1,750억)처럼 규모를 키우면 손실이 꾸준히 줄어듭니다(Scaling Law). Chinchilla 법칙은 파라미터 1개당 약 20토큰을 권합니다.
• Qwen 은 같은 뼈대에 RMSNorm, RoPE(rotary_emb), SwiGLU(gate/up/down_proj, SiLU), GQA(k_proj·v_proj 출력 128)를 바꿔 단 Decoder-only 모델입니다.
• print(model) 은 임베딩 151936 × 896, Decoder 블록 24층, lm_head 896 → 151936 을 보여 줍니다. 파라미터 494,032,768개 중 FFN 이 63.52%, 임베딩이 27.56% 이고, BF16 으로 약 0.99GB 입니다.
• 대화형 LLM 은 사전학습 → SFT → 선호도 정렬 세 단계로 만들어집니다. SFT 는 모범 답안 따라 쓰기, 선호도 정렬은 두 답 중 나은 쪽 높이기입니다.
• 업무에 맞출 때는 지시문(Prompt), 참고 자료(RAG), 가중치(Fine-tuning) 중 무엇을 바꿀지 고릅니다. 자주 바뀌는 사실은 RAG, 일관된 말투와 형식은 Fine-tuning 이 알맞습니다.