먼저 큰 그림부터

도서관 책을 모두 읽은 수습생이 오늘 처음 상담 창구에 앉았다고 해 봅시다. 가르치기 전에 먼저 할 일이 있습니다. 수습생을 자리에 앉히고(모델 불러오기), 책상이 수습생의 짐을 감당할 만큼 넓은지 재 보고(GPU 메모리), 손님 질문에 어떻게 말하는지 한번 들어 보는 것입니다. 말을 들어 보면 수습생이 한 낱말씩 말을 이어 간다는 것, 그리고 "가장 무난한 말만 고를지, 가끔 모험을 할지"에 따라 같은 질문에도 말투가 달라진다는 것을 알게 됩니다.

이 장은 2일차의 첫 장입니다. 1일차에 설계도로만 보았던 Qwen2.5-0.5B-Instruct 를 이번에는 GPU 에 올려 실제로 말을 시킵니다. 이 장에서 챙겨 갈 것은 세 가지입니다. 첫째, from_pretrained 로 토크나이저와 모델을 불러오고, 파라미터 수 × 바이트 수로 메모리를 손으로 계산하는 법입니다. 둘째, generate 가 다음 토큰을 하나씩 골라 붙인다는 것과, 그 고르는 방식을 정하는 temperature, top-k, top-p 입니다. 셋째, 다음 장들에서 할 SFT(모범 답안 학습)가 무엇이고, 선호도 정렬과 무엇이 다른지입니다. pandas 의 value_counts(normalize=True) 로 비율 표를 보던 경험이 "다음 토큰 후보의 확률 표"로 이어집니다.