6장. Qwen 모델 준비와 텍스트 생성

정리

• 2일차는 공개 모델 Qwen2.5-0.5B-Instruct 를 직접 만든 말투 데이터로, 적은 자원을 써서 조정합니다. 차례는 6장 준비, 7장 데이터, 8장 LoRA 학습, 9장 평가와 QLoRA 입니다.
• 토크나이저와 모델은 같은 이름으로 from_pretrained 해서 불러옵니다. load_base_model 은 BF16 으로 읽어 GPU 에 올립니다.
• 가중치 메모리는 파라미터 수 × 바이트 수입니다. 494,032,768 × 2바이트 ≈ 942 MB 이고, 실제 측정값도 942 MB 입니다.
• generate 는 점수 → Softmax → 고르기 → 붙이기를 max_new_tokens 만큼 되풀이합니다. do_sample=False 면 늘 1등을 고르는 Greedy 입니다.
• temperature 는 분포를 뾰족하게(낮음) 또는 평평하게(높음) 만들고, top-k 는 상위 k 개, top-p 는 누적 p 까지의 후보만 남깁니다. 모델 기본값(0.7, 20, 0.8)이 함께 걸린다는 점을 기억합니다.
• SFT 는 (지시, 모범 답변)으로 답변 부분만 채점해 가르치고, 선호도 정렬은 두 답 중 나은 쪽의 확률을 높입니다. 2일차 실습은 SFT 만 합니다.