7장. SFT 데이터 구성과 Chat Template
확인문제와 해답
객관식
Q1SFT 가 가장 잘 가르치는 것은 무엇일까요?
Q2데이터에서 "질문과 답이 모두 같은 행"의 수를 세는 pandas 코드는 무엇일까요?
Q3327행을 원본 노트북처럼 10%, 10%, 나머지로 나누면 train 은 몇 행일까요?
Q4prompt-completion 형식으로 데이터를 주면 SFTTrainer 가 해 주는 일은 무엇일까요?
Q5Qwen 의 Chat Template 에서 한 턴의 끝을 나타내는 특수 토큰은 무엇일까요?
Q6labels 에서 -100 으로 채우는 자리가 아닌 것은 무엇일까요?
Q7여러 질문을 한 번에 생성(batch generation)할 때 패딩을 왼쪽에 두는 까닭은 무엇일까요?
단답형
- messages 를 그 모델이 학습 때 본 문자열 양식으로 바꾸는 규칙을 무엇이라고 합니까?
정답 보기
Chat Template(채팅 템플릿) apply_chat_template에서 끝에<|im_start|>assistant머리표를 붙여 모델이 답을 이어 쓸 자리를 여는 옵션의 이름은 무엇입니까?정답 보기
add_generation_prompt(True 로 준다)- Qwen 토크나이저가 패딩에 쓰는 토큰의 ID 는 무엇입니까?
정답 보기
151643(<|endoftext|>)
정답
정답 전체 보기
객관식: 1-B, 2-D, 3-A, 4-C, 5-B, 6-A, 7-D
단답형: 1. Chat Template(채팅 템플릿). 2. add_generation_prompt(True 로 준다). 3. 151643(<|endoftext|>).