4장. Transformer Decoder와 작은 번역기
용어 짚고 가기
Decoder(디코더): 출력 문장을 한 토큰씩 만드는 Transformer 의 오른쪽 부분입니다. decode 는 "암호를 풀어 글로 옮기다"라는 뜻입니다.Encoder(인코더): 입력 문장을 읽어 토큰마다 문맥이 담긴 벡터를 만드는 왼쪽 부분입니다. 3장에서 보았습니다.시작 토큰(start token, <sos>): Decoder 에게 "이제 쓰기 시작해"라고 알리는 맨 앞 토큰입니다. 이 장의 토크나이저에서는[CLS](ID 2)가 이 일을 합니다.종료 토큰(end token, <eos>): 문장이 끝났다는 표시입니다. 이 장의 토크나이저에서는[SEP](ID 3)입니다.패딩 토큰(pad token): 길이가 다른 문장을 한 묶음으로 만들 때 빈자리를 채우는 토큰입니다. 이 장에서는[PAD](ID 0)입니다.Teacher Forcing(교사 강요): 학습할 때 모델이 앞에서 무엇을 예측했든, 정답 토큰을 다음 입력으로 넣어 주는 방법입니다. 받아쓰기 연습에서 앞 낱말의 정답을 보여 주는 것과 같습니다.shifted right(오른쪽으로 한 칸 밀기): 정답 문장 맨 앞에 시작 토큰을 넣고 맨 끝 하나를 빼서 Decoder 입력을 만드는 일입니다.Masked Self-Attention: 각 위치가 자기와 앞쪽 토큰만 보도록 뒤쪽을 가린 Self-Attention 입니다. 시험 중 뒷장을 가리고 푸는 것과 같습니다.Causal Mask(인과 마스크): Attention 점수 표의 위쪽 삼각형(미래 자리)을-inf로 채우는 가림판입니다. causal 은 "원인이 결과보다 앞선다"는 뜻입니다.-inf(음의 무한대): 어떤 수보다도 작은 값입니다. e 의 -inf 제곱은 0 이라서 Softmax 를 거치면 가중치가 0 이 됩니다.자기회귀(auto-regressive): 자기가 방금 만든 출력을 다음 입력으로 다시 넣으며 이어 가는 방식입니다. GPT 같은 생성형 LLM 의 기본 원리입니다.Cross-Attention(교차 어텐션): Query 는 Decoder 에서, Key 와 Value 는 Encoder 출력에서 가져오는 Attention 입니다. 번역문을 쓰며 원문을 흘끗 보는 일입니다.Decoder 블록(Decoder block): Masked Self-Attention, Cross-Attention, Feed Forward 세 층과 각 층 뒤의 Add & Norm 으로 된 묶음입니다. 이 묶음을 N번 쌓습니다.Linear(선형층): 벡터에 가중치 행렬을 곱해 다른 크기의 벡터로 바꾸는 층입니다. 여기서는 256칸 벡터를 사전 크기(61,790칸)의 점수로 바꿉니다.로짓(logit): Softmax 를 거치기 전의 점수입니다. 음수도, 1 보다 큰 수도 될 수 있습니다.어휘 크기(vocabulary size): 토크나이저 사전에 든 토큰의 개수입니다.tunib/electra-ko-en-small은 61,790개입니다.학습(Training)과추론(Inference): 학습은 정답을 보며 가중치를 고치는 단계, 추론은 다 배운 모델로 새 입력에 답을 만드는 단계입니다.generate: 한 토큰씩 고르고 입력 뒤에 붙이기를 반복해 문장을 만드는 함수입니다. 이어 쓰기 담당입니다.epoch(에폭): 학습 데이터 전체를 한 바퀴 도는 것입니다. 문제집 한 바퀴와 같습니다.손실(loss): 정답과의 거리, 곧 벌점입니다. 이 장에서는 정답 토큰에 준 확률이 낮을수록 커지는 교차 엔트로피(cross entropy)를 씁니다.검증 데이터(validation): 학습 중에 실력을 확인하는 모의고사입니다. 가중치를 고치는 데는 쓰지 않습니다.Seq2SeqTrainer: sequence-to-sequence trainer, 곧 "문장을 받아 문장을 내는 모델"의 학습 반복을 대신 돌려 주는 도구입니다.Encoder-only,Decoder-only,Encoder-Decoder: Transformer 에서 어느 쪽을 쓰느냐에 따른 세 갈래입니다. 대표 모델은 BERT, GPT, T5 입니다.