먼저 큰 그림부터

GPT, Llama, Gemma, Qwen 같은 생성형 LLM 은 모두 Transformer 라는 설계도로 지은 건물입니다. 이 과정의 끝에서는 이 건물에 얇은 필름(LoRA)을 덧붙여 말투를 바꿉니다. 그러려면 먼저 건물의 뼈대를 알아야 하고, 뼈대를 보려면 두 가지 준비물이 필요합니다. 하나는 숫자를 다루는 법입니다. 모델 안에서 낱말은 모두 숫자 묶음(벡터)이 되고, 계산은 거의 다 표와 표를 곱하는 일(행렬곱)입니다. 다른 하나는 역사입니다. Transformer 는 갑자기 나온 것이 아니라, 문장을 한 칸씩 읽던 옛 방식(RNN)이 막힌 곳을 뚫으려고 나왔습니다. 막힌 곳을 알면 Transformer 의 부품마다 "왜 이것이 있는지"가 보입니다.

이 장에서 챙겨 갈 것은 세 가지입니다. 첫째, 벡터, 행렬, 행렬곱, 내적을 NumPy 로 직접 만들어 보고 shape(모양)가 어떻게 바뀌는지 읽는 눈입니다. pandas 의 df.shape 를 보던 습관이 그대로 쓰입니다. 둘째, 점수를 합이 1인 비율로 바꾸는 Softmax 입니다. 뒤의 Attention 도, 다음 낱말 고르기도 모두 Softmax 로 끝납니다. 셋째, RNN, Seq2Seq, Attention 을 거쳐 Transformer 가 나온 흐름과 Transformer 전체 구조도입니다. 구조도의 각 부분은 2장부터 4장까지 하나씩 뜯어 봅니다.