서브워드 사전을 만드는 방법

# Counter = 개수를 세는 사전. pandas 의 value_counts 와 비슷하다
from collections import Counter

# 작은 말뭉치: 낱말을 글자로 띄어 쓰고, 값은 그 낱말이 나온 횟수
words = {"l o w": 5, "l o w e r": 2, "n e w e s t": 6, "w i d e s t": 3}

def pair_counts(words):
    # 이웃한 두 조각의 쌍마다, 낱말이 나온 횟수만큼 더해 센다
    counts = Counter()
    for word, freq in words.items():
        pieces = word.split()
        for a, b in zip(pieces, pieces[1:]):
            counts[(a, b)] += freq
    return counts

def merge(words, pair):
    # 고른 쌍(a, b)이 붙어 있는 곳을 한 조각 ab 로 합친다
    a, b = pair
    merged = {}
    for word, freq in words.items():
        pieces = word.split()
        out, i = [], 0
        while i < len(pieces):
            if i < len(pieces) - 1 and pieces[i] == a and pieces[i + 1] == b:
                out.append(a + b)
                i += 2
            else:
                out.append(pieces[i])
                i += 1
        merged[" ".join(out)] = freq
    return merged

for step in range(3):
    # most_common(1) = 가장 많이 나온 쌍 하나
    best, count = pair_counts(words).most_common(1)[0]
    words = merge(words, best)
    print(step + 1, best, count, words)
# 결과:
# 1 ('e', 's') 9 {'l o w': 5, 'l o w e r': 2, 'n e w es t': 6, 'w i d es t': 3}
# 2 ('es', 't') 9 {'l o w': 5, 'l o w e r': 2, 'n e w est': 6, 'w i d est': 3}
# 3 ('l', 'o') 7 {'lo w': 5, 'lo w e r': 2, 'n e w est': 6, 'w i d est': 3}