بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 33: متن برای کامپیوتر Text for the Computer

کامپیوتر متن را نمی‌فهمد، عدد می‌فهمد. متن را به توکن‌ها می‌شکنیم، واژه‌نامه می‌سازیم و هر جمله را به «کیسه‌ی کلمات» (شمارش کلمه‌ها) تبدیل می‌کنیم.

در این جلسه یاد می‌گیری

درس

در پروژه‌ی هرزنامه فقط پنج کلمه را شمردیم. مدل‌های زبانی واقعی همه‌ی کلمه‌ها را می‌بینند. اما قبل از هر چیز باید متن را به تکه‌های کوچک بشکنیم. به هر تکه توکن (token) می‌گوییم؛ برای ما توکن همان کلمه است. ChatGPT و دوستانش هم با توکن کار می‌کنند، فقط توکن‌هایشان گاهی نصف کلمه است.

شکستن ساده با split() کار می‌کند، ولی Hello, و hello دو توکن متفاوت می‌شوند. پس اول متن را تمیز می‌کنیم: همه‌چیز کوچک، علامت‌ها حذف. برای حذف علامت‌ها حرف به حرف نگاه می‌کنیم و فقط حرف و فاصله را نگه می‌داریم (isalpha).

def tokens(text):
    clean = ""
    for ch in text.lower():
        if ch.isalpha() or ch == " ":
            clean = clean + ch
    return clean.split()

print(tokens("Hello, hello! The cat sat."))
# ['hello', 'hello', 'the', 'cat', 'sat']

واژه‌نامه (vocabulary): لیست همه‌ی کلمه‌های یکتا در همه‌ی جمله‌ها، مرتب‌شده. هر کلمه یک شماره می‌گیرد (جایش در لیست). این شماره همان «عددی» است که کامپیوتر به جای کلمه می‌بیند.

sentences = ["the cat sat", "the dog sat", "a cat and a dog"]
vocab = sorted(set(word for s in sentences for word in tokens(s)))
print(vocab)
# ['a', 'and', 'cat', 'dog', 'sat', 'the']
print(vocab.index("cat"))   # 2

حالا هر جمله می‌شود یک لیست عدد به طول واژه‌نامه: در خانه‌ی هر کلمه می‌نویسیم چند بار در جمله آمده. به این کیسه‌ی کلمات (bag of words) می‌گوییم: انگار کلمه‌ها را در یک کیسه ریخته‌ایم و فقط شمرده‌ایم. حالا جمله یک بردار است و k-NN یا نورون می‌تواند با آن کار کند!

def bag(sentence, vocab):
    counts = [0] * len(vocab)
    for word in tokens(sentence):
        if word in vocab:
            counts[vocab.index(word)] += 1
    return counts

print(bag("a cat and a dog", vocab))   # [2, 1, 1, 1, 0, 0]

پایتون ابزار آماده‌ای برای شمردن دارد: collections.Counter. یک لیست به آن بده و دیکشنری «کلمه: تعداد» می‌گیری. most_common(3) سه کلمه‌ی پرتکرار را می‌دهد. برای تحلیل متن خیلی به کار می‌آید.

from collections import Counter

c = Counter(tokens("the cat and the dog and the bird"))
print(c["the"])            # 3
print(c.most_common(2))    # [('the', 3), ('and', 2)]

کیسه‌ی کلمات یک ضعف بزرگ دارد: ترتیب را گم می‌کند. «سگ گربه را گاز گرفت» و «گربه سگ را گاز گرفت» دقیقاً یک کیسه دارند! مدل‌های زبانی مدرن برای همین به جای کیسه از ترتیب (توالی) استفاده می‌کنند؛ در جلسه‌ی ۳۵ یک نسخه‌ی کوچکش را می‌سازیم. ولی برای «این پیام مثبت است یا منفی» کیسه‌ی کلمات به‌طرز شگفت‌انگیزی خوب کار می‌کند.

اشتباه رایج: فراموش کردن lower()؛ آن‌وقت The و the دو کلمه می‌شوند و واژه‌نامه بزرگ و بی‌خود می‌شود. اشتباه دوم: کلمه‌ای که در واژه‌نامه نیست را با vocab.index جست‌وجو کردن؛ خطای ValueError می‌دهد. همیشه اول if word in vocab.

مثال‌های این جلسه

چالش‌ها

  1. Clean Tokens (آسان)
  2. Most Common Words (آسان)
  3. Build the Vocabulary (متوسط)
  4. Bag of Words (متوسط)
  5. Same Bag, Different Meaning (سخت)
  6. Nearest Sentence (سخت)

بیشتر بخوان

← جلسه‌ی 32: پروژه: شناسای رقم جلسه‌ی 34: احساس مثبت یا منفی →