먼저 큰 그림부터

외국인 친구에게 한국어 편지를 보낸다고 해 봅시다. 친구가 쓰는 번역 앱은 글자를 바로 읽지 못하고, 먼저 문장을 작은 조각으로 자르고, 조각마다 사전 번호를 찾고, 번호를 다시 뜻이 담긴 숫자 묶음으로 바꿉니다. Transformer 도 똑같습니다. 글자를 직접 읽지 못하므로 문장을 레고 블록(토큰)으로 쪼개고, 블록마다 붙은 상품 번호(토큰 ID)를 찾고, 번호를 성격표(임베딩 벡터)로 바꾼 뒤, 블록마다 몇 번째인지 번호표(위치 정보)를 더합니다. 이렇게 만든 숫자 행렬이 모델의 입력입니다.

이 장에서 챙겨 갈 것은 세 가지입니다. 첫째, 토큰화입니다. BERT 의 WordPiece 와 Qwen 의 BPE 토크나이저로 영어와 한국어 문장을 직접 잘라 보고, 토큰이 단어와 다르다는 것을 눈으로 확인합니다. 둘째, 토큰 수입니다. 같은 뜻의 한국어와 영어 문장이 토큰 수에서 얼마나 차이 나는지 세어 보고, 토큰이 왜 비용과 한계의 단위인지 봅니다. 셋째, 임베딩과 위치 인코딩입니다. 임베딩은 "행이 15만 개, 열이 896개인 DataFrame 에서 번호로 행 꺼내기"이고, 위치 인코딩은 사인·코사인으로 만든 번호표입니다. NumPy 로 몇 줄 계산해 손으로 따라가 봅니다. 1장에서 본 Transformer 구조도의 맨 아래, "입력 준비" 칸이 이 장의 무대입니다.