먼저 큰 그림부터

도서관에 수습생 한 명이 들어왔다고 해 봅시다. 수습생은 몇 달 동안 도서관의 책을 처음부터 끝까지 읽습니다. 읽는 방법은 단순합니다. 문장을 읽다가 다음 낱말을 손으로 가리고, 무엇이 올지 맞혀 본 뒤 손을 떼고 확인합니다. 이 연습을 수없이 하고 나면 문법도, 상식도, 간단한 계산도 저절로 익힙니다. 그다음 모범 답안으로 상담 연습을 시키면, 손님 질문에 대화 형식으로 답하는 상담원이 됩니다. ChatGPT 나 Qwen 같은 LLM(Large Language Model, 대규모 언어 모델)이 이렇게 만들어집니다. 이 장에서는 4장의 Transformer Decoder 만 떼어 크게 쌓은 GPT 계열 모델을 보고, 실제 모델 Qwen2.5-0.5B-Instruct 의 설계도를 한 줄씩 읽습니다.

이 장에서 챙겨 갈 것은 세 가지입니다. 첫째, Decoder 만 쌓은 모델이 "다음 토큰 맞히기" 하나로 언어와 지식을 배우는 원리와, 모델을 키우면 성능이 꾸준히 좋아진다는 Scaling Law 입니다. 둘째, print(model) 이 찍는 Qwen 의 구조입니다. 임베딩 표 151936 × 896, 24층, Attention 의 q/k/v/o_proj, FFN 의 gate/up/down_proj, lm_head 가 각각 무엇인지 읽고, 파라미터 494,032,768개가 어디에 몰려 있는지 표로 셉니다. 셋째, LLM 이 만들어지는 세 단계(사전학습, SFT, 선호도 정렬)와, 우리 업무에 맞추는 세 가지 방법(Prompt, RAG, Fine-tuning)입니다. 이것이 2일차에 LoRA 로 Qwen 을 가르치는 이유와 위치를 알려 줍니다.