1장. 준비 수학과 Transformer 개요
확인문제와 해답
객관식
Q1노트북 셀 6의 student_vec 의 shape 는 무엇일까요?
Q2shape 가 (2, 3) 인 A 와 (3, 2) 인 B 를 행렬곱한 결과의 shape 는 무엇일까요?
Q3u = [1, 2, 3] 과 -u 의 내적은 얼마일까요?
Q4Softmax 에 대한 설명으로 맞는 것은 무엇일까요?
Q5RNN 이 GPU 로 빠르게 학습하기 어려운 까닭은 무엇일까요?
Q6기본 Seq2Seq 가 긴 문장에서 정보를 놓치기 쉬운 까닭은 무엇일까요?
Q7Seq2Seq 의 Attention 이 Decoder 가 낱말을 하나 만들 때마다 하는 첫 단계는 무엇일까요?
단답형
- 신경망의 마지막 출력처럼 음수일 수도 있고 합이 1이 아닌 날것의 점수를 무엇이라고 합니까?
정답 보기
로짓(logit) - 노트북 셀 14에서 점수 [2.0, 1.0, 0.1] 을 Softmax 로 바꾸면 첫째 확률은 소수 둘째 자리까지 얼마입니까?
정답 보기
0.66 - RNN 없이 Attention 만으로 만든 Transformer 를 발표한 2017년 논문의 제목은 무엇입니까?
정답 보기
Attention Is All You Need
정답
정답 전체 보기
객관식: 1-A, 2-C, 3-D, 4-B, 5-B, 6-C, 7-D
단답형: 1. 로짓(logit). 2. 0.66. 3. Attention Is All You Need.