3장. Attention과 Encoder
용어 짚고 가기
Attention(어텐션): 여러 정보 가운데 지금 필요한 것에 더 많은 비중을 두어 섞는 계산입니다. attention 은 "주의, 주목"이라는 뜻입니다.Self-Attention(셀프 어텐션): 한 문장 안의 낱말들이 서로를 참고하는 Attention 입니다. 회의에서 같은 회의실 사람들의 발언을 참고하는 것과 같습니다.Encoder(인코더): 입력 문장을 읽어 문맥이 담긴 벡터들로 바꾸는 부분입니다. encode 는 "부호로 바꾸다"라는 뜻입니다.문맥 임베딩(contextual embedding): 문장에 따라 달라지는 낱말 벡터입니다. "배를 타다"의 배와 "배가 고프다"의 배가 서로 다른 벡터가 됩니다.Query(쿼리, Q): 이 낱말이 문장에서 무엇을 찾고 있는지 나타내는 벡터입니다. 도서관 검색창에 넣는 검색어입니다.Key(키, K): 이 낱말이 어떤 정보를 가졌는지 알리는 이름표 벡터입니다. 책등에 붙은 제목표입니다.Value(밸류, V): 이 낱말이 다른 낱말에게 실제로 넘겨 줄 내용 벡터입니다. 책의 본문입니다.가중치 행렬(weight matrix): 입력에 곱해 모양과 값을 바꾸는 숫자 표입니다.W_Q,W_K,W_V가 학습으로 정해지는 대상입니다.내적(dot product): 두 벡터의 같은 자리끼리 곱해 모두 더한 값입니다. 1×4 + 2×5 + 3×6 = 32 처럼 계산하고, 두 벡터가 같은 쪽을 볼수록 커집니다.점수(score): Query 와 Key 의 내적입니다. 두 낱말이 얼마나 관련 있는지 매긴 값입니다.Softmax(소프트맥스): 점수들을 합이 1 인 비율로 바꾸는 함수입니다. 점수를 투표 비율(합 100%)로 바꾸는 일입니다.Attention 가중치(attention weight): softmax 를 거친 참고 비율입니다. 행마다 합이 1 인 표가 됩니다.Scaled Dot-Product Attention: 내적 점수를 √d_k 로 나눈(scaled) 뒤 softmax 를 쓰는 Attention 입니다. 식은softmax(QKᵀ / √d_k) V입니다.d_model: 낱말 하나를 나타내는 벡터의 길이입니다. 원 논문 base 모델은 512 입니다.d_k: Query 와 Key 벡터 하나의 길이입니다. 원 논문은 64 이므로 √d_k = 8 로 나눕니다.shape(모양): 숫자 배열의 크기입니다.(10, 512)는 낱말 10개를 각각 숫자 512개로 나타낸다는 뜻입니다.전치(transpose, ᵀ): 행렬의 행과 열을 맞바꾸는 일입니다.(10, 64)의 K 를 전치하면(64, 10)이 됩니다.그래디언트(gradient): 학습할 때 가중치를 어느 쪽으로 얼마나 고칠지 알려 주는 값입니다. 0 에 가까우면 학습이 멈춘 듯 느려집니다.Multi-Head Attention(멀티 헤드 어텐션): 벡터를 여러 조각(head)으로 나눠 Attention 을 따로 계산한 뒤 합치는 방법입니다. 여러 전문가가 각자 관점으로 보고 의견을 합치는 일입니다.head(헤드): Multi-Head Attention 에서 한 관점을 맡은 Attention 하나입니다.Concat(이어 붙이기): concatenate 의 줄임말입니다. 여러 head 의 결과를 옆으로 나란히 붙입니다.잔차 연결(residual connection, Add): 층의 입력을 층의 출력에 더하는 일입니다. 원본을 옆에 붙여 두어 정보가 사라지지 않게 합니다.층 정규화(Layer Normalization, Norm): 벡터 하나의 숫자들을 평균 0, 표준편차 1 근처로 맞추는 일입니다. 눈금 맞추기입니다.FFN(Feed Forward Network, 피드 포워드 신경망): 낱말 벡터마다 따로 통과시키는 작은 신경망입니다. 낱말마다 따로 받는 개인 과외입니다.BERT(Bidirectional Encoder Representations from Transformers): Encoder 만 쌓은 대표 모델입니다. 앞뒤 문맥을 모두 보는 양방향(bidirectional) 모델입니다.