실습 2 — chat 함수로 질문하기

# 질문을 Qwen이 사용하는 채팅 형식으로 바꾸고 답변을 생성합니다.
# max_new_tokens=80 = 새로 쓸 토큰을 최대 80개로 둔다(기본값)
def chat(model, question, max_new_tokens=80):
    # role(누가 말했는지) 과 content(한 말) 를 담은 사전의 리스트
    messages = [{"role": "user", "content": question}]  # 질문을 채팅 메시지 형식으로 만듭니다.
    # apply_chat_template = 대본 양식(Chat Template) 입히기
    inputs = tokenizer.apply_chat_template(  # 질문을 Qwen이 학습한 채팅 형식으로 바꿉니다.
        messages,  # 변환할 사용자 메시지입니다.
        add_generation_prompt=True,  # 모델 답변이 시작될 위치(<|im_start|>assistant)까지 붙입니다.
        return_tensors="pt",  # 결과를 PyTorch 텐서로 받습니다.
        return_dict=True,  # input_ids와 attention_mask를 함께 받습니다.
    ).to(model.device)  # 입력 텐서를 모델과 같은 장치로 옮깁니다.
    
    # eval = evaluation(평가) 모드. 학습 때만 쓰는 무작위 끄기(dropout)를 멈춘다
    model.eval()  # dropout 등을 추론 모드로 바꿉니다.
    
    # inference_mode = 추론 전용 모드, autocast = 연산마다 정밀도를 자동으로 고르기
    with (torch.inference_mode(), # 기울기 계산과 관련 기록을 끕니다. 답변 생성처럼 학습하지 않을 때 메모리 사용과 계산 부담을 줄입니다.
    torch.autocast(device_type="cuda", dtype=MODEL_DTYPE)):# CUDA 연산마다 적절한 정밀도를 자동으로 선택합니다.
        # generate = 다음 토큰 하나 고르기 → 붙이기를 되풀이해 이어 쓰기
        output = model.generate(  # 설정에 따라 새 토큰을 생성합니다.
            **inputs,  # input_ids와 attention_mask를 전달합니다.
            max_new_tokens=max_new_tokens,  # 새로 만들 최대 토큰 수입니다.
            do_sample=False,  # 매번 확률이 가장 높은 토큰을 선택하므로 결과를 비교하기 쉽습니다.
            repetition_penalty=1.2,  # 작은 모델이 같은 단어를 반복하는 현상을 줄입니다.
        )
    # output 의 모양은 (1, 입력 길이 + 새 토큰 수). 입력 길이 뒤부터 잘라 새 토큰만 남긴다
    new_tokens = output[0, inputs["input_ids"].shape[1]:]  # 질문에 해당하는 입력 토큰은 제외하고 새로 생성한 토큰만 남깁니다.
    # decode = 토큰 번호를 글자로. skip_special_tokens=True 면 <|im_end|> 같은 머리표를 뺀다
    return tokenizer.decode(new_tokens, skip_special_tokens=True).strip()  # 새 토큰을 사람이 읽는 문자열로 바꿉니다.


# 학습 전 Qwen 의 평소 말투를 본다
# 결과: 첫 줄은 "temperature, top_p, top_k 는 무시될 수 있다" 는 안내, 그다음 존댓말 답(80토큰에서 끊김)
print(chat(model, "업무 실수를 줄이려면 체크리스트를 쓰는 게 좋을까?"))