4장. Transformer Decoder와 작은 번역기
확인문제와 해답
객관식
Q1Teacher Forcing 에서 Decoder 입력은 어떻게 만들까요?
Q2Causal Mask 를 씌운 Attention 점수표에서 -inf 가 들어가는 곳은 어디일까요?
Q3점수 행이 [1, 2, -inf] 일 때 Softmax 결과에 가장 가까운 것은 무엇일까요?
Q4Decoder 의 Cross-Attention 에 대한 설명으로 맞는 것은 무엇일까요?
Q5학습할 때는 위치를 병렬로 계산하지만 실제 생성은 한 토큰씩 하는 까닭은 무엇일까요?
Q6실습 2의 번역기 파라미터 18,470,400개 중 가장 큰 몫을 차지하는 것은 무엇일까요?
Q7고객 문의를 "환불·배송·기타"로 나누는 일에 가장 잘 맞는 구조는 무엇일까요?
단답형
- 각 위치가 자기 자신과 앞쪽 토큰만 보도록 Attention 점수의 위쪽 삼각형을 가리는 장치를 무엇이라고 합니까?
정답 보기
Causal Mask(인과 마스크, 미래 가림 마스크) - 실습 2에서 10 epoch 학습에 걸린 전체 단계 수는 몇 단계입니까?
정답 보기
2,380단계 - 실습 3에서 test 950쌍으로 잰 평가 손실은 얼마입니까?
정답 보기
3.181
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A, 4-C, 5-B, 6-A, 7-D
단답형: 1. Causal Mask(인과 마스크, 미래 가림 마스크). 2. 2,380단계. 3. 3.181.