좋은 SFT 데이터의 조건

import pandas as pd

# 일부러 문제를 섞은 작은 상담 데이터(설명용으로 만든 다섯 행)
raw = pd.DataFrame({
    "prompt": ["배송비는 얼마인가요?", "배송비는 얼마인가요?", "환불 되나요?", "비밀번호를 잊었어요", None],
    "response": ["3만 원 이상이면 무료입니다.", "3만 원 이상이면 무료입니다.", "네",
                 "<p>재설정 링크를 보내 드립니다.</p>", "회원 정보에서 바꿀 수 있습니다."],
})

# 조건마다 걸리는 행 수를 센다
issues = {
    # isna().any(axis=1): 행 안에 빈칸이 하나라도 있으면 True
    "빈값": int(raw.isna().any(axis=1).sum()),
    # duplicated(): 앞에 똑같은 행이 있으면 True(첫 행은 남긴다)
    "중복 문답": int(raw.duplicated().sum()),
    # 5자 미만 답변은 너무 짧아 끝맺음을 배우기 어렵다
    "짧은 답": int((raw["response"].str.len() < 5).sum()),
    # "<p>" 같은 HTML 태그가 섞인 답변. regex=True 는 정규식으로 찾는다는 뜻
    "HTML": int(raw["response"].str.contains("<[a-z/]", regex=True).sum()),
}
print(issues)  # 결과: {'빈값': 1, '중복 문답': 1, '짧은 답': 1, 'HTML': 1}

# 문제 행을 걸러 낸다: 빈값 행 빼기 → 중복 빼기 → 짧은 답과 HTML 빼기
clean = raw.dropna().drop_duplicates()
clean = clean[(clean["response"].str.len() >= 5) & ~clean["response"].str.contains("<[a-z/]", regex=True)]
print(len(raw), "→", len(clean))  # 결과: 5 → 1