5장. Decoder-only LLM과 학습 단계
확인문제와 해답
객관식
Q1GPT 가 원조 Transformer 에서 빼 버린 부품은 무엇일까요?
Q2GPT 의 사전학습을 자기지도학습이라고 부르는 까닭으로 알맞은 것은 무엇일까요?
Q3토큰 10개짜리 문장 하나로 만들 수 있는 "다음 토큰 맞히기" 문제는 몇 개일까요?
Q4실습의 print(model) 에서 k_proj 의 out_features 가 128 인 까닭으로 알맞은 것은 무엇일까요?
Q5Qwen2.5-0.5B-Instruct 의 파라미터 494,032,768개를 BF16(숫자 하나에 2바이트)으로 올릴 때 가중치 메모리로 알맞은 것은 무엇일까요?
Q6SFT 와 선호도 정렬의 차이로 알맞은 것은 무엇일까요?
Q7매주 바뀌는 반품 규정을 근거와 함께 답해야 할 때 먼저 검토할 방법은 무엇일까요?
단답형
print(model)에서 896칸 벡터를 어휘 151,936개의 점수로 바꾸는 마지막 선형층의 이름은 무엇입니까?정답 보기
lm_head- Qwen2.5-0.5B-Instruct 의 파라미터를 네 묶음(임베딩, Attention, FFN, Norm)으로 나눴을 때 가장 큰 몫을 차지하는 묶음은 무엇입니까?
정답 보기
FFN(약 63.52%) - 모델 크기, 데이터 양, 계산량을 늘리면 손실이 예측 가능한 비율로 꾸준히 줄어든다는 관찰을 무엇이라고 합니까?
정답 보기
Scaling Law
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A, 4-C, 5-D, 6-B, 7-C
단답형: 1. lm_head. 2. FFN(약 63.52%). 3. Scaling Law.