2장. Transformer 입력 표현

정리

• Transformer 는 글자를 읽지 못합니다. 문장은 토큰화 → 토큰 ID → 임베딩 → 위치 정보 더하기를 거쳐 (토큰 수, d_model) 행렬이 된 뒤 모델에 들어갑니다.
• 현대 LLM 은 서브워드 단위로 자릅니다. BPE 는 자주 붙어 나오는 쌍을 되풀이해 합치고(예: e + s → es, es + t → est), BERT 의 WordPiece 는 이어 붙는 조각에 ## 을 붙입니다.
• 토크나이저는 모델과 한 세트입니다. Qwen 의 사전은 151,665개, BERT 는 30,522개이고, 같은 번호라도 가리키는 조각이 다릅니다.
• Qwen 은 바이트에서 출발하는 BPE 라 한글 한 글자가 여러 토큰에 나뉠 수 있습니다. 하나씩 디코딩하면 � 가 보이지만 함께 디코딩하면 원문이 됩니다.
• 토큰은 비용과 한계의 단위입니다. "오늘 회의는 오후 세 시에 시작합니다." 는 21글자 13토큰, 같은 뜻의 영어는 49글자 10토큰이었습니다. Attention 계산량은 토큰 수의 제곱으로 늘어납니다.
• 임베딩은 (어휘 수, d_model) 표에서 토큰 ID 번째 행을 꺼내는 조회입니다. Qwen 의 표는 151,936 × 896 = 136,134,656 칸입니다.
• Self-Attention 은 순서를 모르므로 위치 정보를 더합니다. 원 논문의 사인·코사인 위치 인코딩은 빠르고 느린 물결을 섞어, 위치마다 -1~1 사이의 고유한 무늬를 만듭니다.