2장. Transformer 입력 표현

확인문제와 해답

객관식

Q1Transformer 에 문장이 들어가기 전의 준비 순서로 알맞은 것은 무엇일까요?

Q2서브워드 단위 토큰화의 특징으로 알맞은 것은 무엇일까요?

Q3BERT 토크나이저의 출력 ['un', '##bel', '##ie', '##va', '##bly'] 에서 ## 의 뜻은 무엇일까요?

Q4Qwen 토크나이저로 한국어 토큰을 하나씩 디코딩했을 때 � 가 보이는 까닭은 무엇일까요?

Q5토큰 수가 1,000개에서 2,000개로 늘면 Attention 점수표의 칸 수는 몇 배가 될까요?

Q6임베딩 층에 대한 설명으로 알맞지 않은 것은 무엇일까요?

Q7사인·코사인 위치 인코딩에서 d_model = 4, pos = 1 일 때 칸 0의 값 sin(1/10000^0) 은 약 얼마일까요?

문장을 모델이 다루는 기본 조각으로 나누는 과정을 무엇이라고 합니까?
정답 보기
토큰화(Tokenization)
가장 자주 붙어 나오는 두 조각을 되풀이해 합쳐 사전을 만드는 방법으로, GPT 계열과 Qwen 이 쓰는 토큰화 알고리즘의 이름은 무엇입니까?
정답 보기
BPE(Byte Pair Encoding)
Self-Attention 이 단어의 순서를 구분하도록 임베딩에 더하는, 위치마다 다른 벡터를 무엇이라고 합니까?
정답 보기
위치 인코딩(Positional Encoding)

정답 전체 보기

객관식: 1-B, 2-D, 3-A, 4-C, 5-B, 6-D, 7-A

단답형: 1. 토큰화(Tokenization). 2. BPE(Byte Pair Encoding). 3. 위치 인코딩(Positional Encoding).