먼저 큰 그림부터

초등학교 받아쓰기 연습을 떠올려 봅니다. 선생님이 문장을 불러 주면 학생은 한 낱말씩 받아 적습니다. 연습할 때는 앞 낱말의 정답을 칠판에 적어 두고 "그다음 낱말은?" 하고 묻습니다. 앞에서 틀렸더라도 다음 문제는 정답을 보고 풀게 하니, 한 번 틀린 것이 끝까지 번지지 않습니다. 대신 뒤쪽 정답은 종이로 가려 두어야 연습이 됩니다. 3장에서 본 Encoder 가 원문을 꼼꼼히 읽는 사람이라면, 이 장의 Decoder 는 원문을 흘끗흘끗 보며 번역문을 한 낱말씩 받아 적는 사람입니다.

이 장에서 챙겨 갈 것은 세 가지입니다. 첫째, Decoder 가 Encoder 와 다른 두 장치입니다. 미래 토큰을 가리는 Masked Self-Attention 과, 원문을 참고하는 Cross-Attention 입니다. 둘째, 학습할 때는 정답을 한 칸 밀어 한 번에 넣고(Teacher Forcing), 실제로 쓸 때는 고른 토큰을 다시 넣으며 한 토큰씩 만든다는 차이입니다. 셋째, 영한 문장 7,594쌍으로 작은 Encoder-Decoder 번역기를 처음부터 학습해 보고, Transformer 가 Encoder-only, Decoder-only, Encoder-Decoder 세 갈래로 나뉜 까닭을 봅니다. 표의 행을 한 칸씩 내리는 pandas 의 shift 를 써 본 적이 있다면, Teacher Forcing 은 그 일과 거의 같습니다.