6장. Qwen 모델 준비와 텍스트 생성

용어 짚고 가기

Qwen2.5-0.5B-Instruct알리바바가 공개한 LLM 입니다. 0.5B 는 파라미터가 약 5억(0.5 billion) 개라는 뜻이고, Instruct 는 질문에 답하도록 SFT 까지 마친 모델이라는 뜻입니다.
파라미터(parameter)모델 안에서 학습으로 정해지는 숫자 하나하나입니다. 가중치(weight)라고도 합니다. 이 모델에는 494,032,768 개가 있습니다.
GPU(Graphics Processing Unit)계산을 한꺼번에 많이 하는 연산 장치입니다. 원래 그래픽용이지만 딥러닝 계산에 씁니다. 이 교안의 실행 결과는 RTX 3080(10GB)에서 얻었습니다.
VRAM(Video RAM)GPU 에 붙은 메모리입니다. 모델의 가중치와 계산 중간값이 여기에 올라갑니다. 책상 넓이와 같습니다.
CUDANVIDIA GPU 에 일을 시키는 방법입니다. 코드에서 device = "cuda" 는 "GPU 에서 계산하라"는 뜻입니다.
from_pretrained이미 학습된(pretrained) 가중치를 모델 이름으로 내려받아 불러오는 함수입니다.
AutoTokenizer모델 이름만 주면 그 모델에 맞는 토크나이저를 골라 주는 도구입니다.
AutoModelForCausalLM다음 낱말 맞히기(causal language model)용 모델을 불러오는 도구입니다.
정밀도(precision, dtype)숫자 하나를 몇 바이트로 저장하는지입니다. FP32 는 4바이트, BF16 과 FP16 은 2바이트입니다.
BF16(bfloat16)2바이트짜리 숫자 형식입니다. FP16 보다 아주 큰 수와 아주 작은 수를 잘 담아 LLM 에 많이 씁니다. RTX 30 이후 GPU 가 지원합니다.
양자화(quantization)숫자를 더 적은 바이트로 줄여 저장하는 일입니다. 고화질 사진을 작은 용량으로 저장하는 것과 같습니다. 9장의 QLoRA 에서 씁니다.
generate다음 토큰을 하나 고르고 입력 뒤에 붙이기를 되풀이하며 글을 이어 쓰는 함수입니다.
pipeline토크나이저, 모델, 후처리를 한 줄로 묶어 주는 Hugging Face 의 간편 도구입니다.
로짓(logit)모델이 다음 토큰 후보마다 매긴 날것의 점수입니다. Softmax 를 거쳐야 합이 1 인 확률이 됩니다.
디코딩(decoding)확률 표에서 실제로 어떤 토큰을 고를지 정하는 방식입니다.
Greedy(탐욕적) 디코딩매번 확률이 가장 높은 토큰 하나만 고르는 방식입니다. do_sample=False 입니다.
샘플링(sampling)확률에 따라 제비뽑기로 고르는 방식입니다. do_sample=True 입니다. 실행할 때마다 결과가 달라집니다.
temperature로짓을 나누는 값입니다. 모험심 다이얼과 같습니다. 낮으면 1등 후보에 몰리고, 높으면 고르게 퍼집니다.
top-k확률이 높은 후보 k 개만 남기는 예선입니다.
top-p(nucleus sampling)확률이 높은 순서로 누적 확률이 p 가 될 때까지만 남기는 결선입니다.
repetition_penalty이미 나온 토큰의 점수를 깎아 같은 말을 되풀이하지 않게 하는 값입니다. 1.2 면 1.2 배만큼 불리하게 합니다.
씨앗(seed)제비뽑기의 출발점 번호입니다. torch.manual_seed(42) 처럼 같은 씨앗을 주면 같은 뽑기 결과가 나옵니다.
SFT(Supervised Fine-Tuning)(지시, 모범 답변) 쌍으로 모델을 더 가르치는 일입니다. 모범 답안으로 상담 연습을 시키는 것과 같습니다.
Chat Template<|im_start|>user 처럼 누가 말하는지 표시하는 대본 양식입니다. 7장에서 자세히 봅니다.
선호도 정렬(preference alignment)같은 질문의 두 답 가운데 사람이 더 좋아한 쪽을 높이도록 가르치는 일입니다. RLHF, DPO 가 대표 방법입니다.