3장. Attention과 Encoder
확인문제와 해답
객관식
Q1Self-Attention 에서 "이 낱말이 무엇을 찾고 있는지"를 나타내는 벡터는 무엇일까요?
Q2낱말 10개, d_k 64 일 때 QKᵀ 의 shape 는 무엇일까요?
Q3d_k = 64 일 때 Scaled Dot-Product Attention 은 점수를 얼마로 나눌까요?
Q4참고 비율이 장비 0.7, 작업자 0.2, 점검했다 0.1 일 때 문맥 벡터에 대한 설명으로 알맞은 것은 무엇일까요?
Q5BERT-base 의 d_model 은 768 이고 head 는 12개입니다. head 하나의 차원은 얼마일까요?
Q6Encoder 블록에서 낱말 사이의 정보를 주고받는(섞는) 부품은 무엇일까요?
Q7Encoder 만 쌓은 모델(BERT)이 가장 맞지 않는 일은 무엇일까요?
단답형
- 같은 낱말이라도 문장에 따라 벡터가 달라지도록 Self-Attention 이 만든 임베딩을 무엇이라고 합니까?
정답 보기
문맥 임베딩(contextual embedding) - 층의 입력을 층의 출력에 그대로 더해 원래 정보를 지키는 연결을 무엇이라고 합니까?
정답 보기
잔차 연결(residual connection) - 점수 2, 1, 0 을 softmax 에 넣으면 가장 큰 비율은 소수 둘째 자리까지 얼마입니까? (e^2 ≈ 7.39, e^1 ≈ 2.72, e^0 = 1)
정답 보기
0.67(7.39 ÷ 11.11 ≈ 0.665)
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A, 4-C, 5-D, 6-A, 7-C
단답형: 1. 문맥 임베딩(contextual embedding). 2. 잔차 연결(residual connection). 3. 0.67(7.39 ÷ 11.11 ≈ 0.665).