بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 35: پیش‌بینی کلمه‌ی بعدی Predicting the Next Word

یک مدل زبانی کوچک می‌سازیم: برای هر کلمه یاد می‌گیریم چه کلمه‌هایی بعدش می‌آیند (زنجیره‌ی مارکوف) و با آن متن تولید می‌کنیم. ایده‌ی ChatGPT در اندازه‌ی جیبی.

در این جلسه یاد می‌گیری

درس

کیبورد گوشی‌ات وقتی می‌نویسی «سلام، حالت»، پیشنهاد می‌دهد «چطوره». از کجا می‌داند؟ از هزاران پیام قبلی یاد گرفته که بعد از «حالت» معمولاً «چطوره» می‌آید. این ساده‌ترین مدل زبانی است: «با توجه به کلمه‌ی فعلی، کلمه‌ی بعدی چیست؟» ChatGPT هم در اصل همین کار را می‌کند، فقط با میلیاردها پارامتر و با نگاه به هزاران کلمه‌ی قبل، نه یکی.

قدم اول: از یک متن، جدول «بعدی‌ها» بساز. برای هر کلمه، لیستی از کلمه‌هایی که بلافاصله بعدش آمده‌اند. دیکشنری از لیست‌ها. اگر کلمه‌ای چند بار با یک کلمه‌ی بعدی آمده، آن کلمه چند بار در لیست تکرار می‌شود؛ این تکرار همان «احتمال» است.

text = "the cat sat on the mat the cat ate the fish"
words = text.split()

followers = {}
for i in range(len(words) - 1):
    word = words[i]
    next_word = words[i + 1]
    if word not in followers:
        followers[word] = []
    followers[word].append(next_word)

print(followers["the"])   # ['cat', 'mat', 'cat', 'fish']
print(followers["cat"])   # ['sat', 'ate']

قدم دوم: پیش‌بینی. محتمل‌ترین کلمه‌ی بعد از the کدام است؟ آن که بیشتر در لیست تکرار شده: cat (دو بار). با Counter و most_common(1) پیدا می‌شود. این «حالت حریصانه» است: همیشه محتمل‌ترین.

from collections import Counter

def most_likely(word):
    return Counter(followers[word]).most_common(1)[0][0]

print(most_likely("the"))   # cat

قدم سوم: تولید متن. از یک کلمه شروع کن، بعدی را انتخاب کن، بعدیِ بعدی را... اگر همیشه محتمل‌ترین را برداریم، متن تکراری و خسته‌کننده می‌شود (the cat sat on the mat the cat sat on...). پس تصادفی وزن‌دار انتخاب می‌کنیم: random.choice(followers[word]). چون cat دو بار در لیست است، شانسش دو برابر fish است. درست مثل همان «احتمال».

import random

def generate(start, length):
    word = start
    result = [word]
    for i in range(length - 1):
        if word not in followers:
            break
        word = random.choice(followers[word])
        result.append(word)
    return " ".join(result)

random.seed(7)
print(generate("the", 8))

اینجا واژه‌ای را می‌شناسی که در تنظیمات ChatGPT هم هست: دما (temperature). دمای صفر = همیشه محتمل‌ترین (حریصانه، تکراری). دمای بالا = تصادفی‌تر، خلاق‌تر، ولی گاهی بی‌معنی. ما با یک شرط ساده همین را می‌سازیم: با احتمال temperature تصادفی انتخاب کن، وگرنه محتمل‌ترین.

def next_word(word, temperature):
    if random.random() < temperature:
        return random.choice(followers[word])
    return most_likely(word)

چرا جمله‌ها «درست ولی بی‌معنی» می‌شوند؟ چون مدل فقط یک کلمه‌ی قبل را می‌بیند و هیچ درکی از معنا ندارد؛ فقط آمار است. مدل‌های بزرگ هزاران کلمه‌ی قبل را می‌بینند و برای همین خیلی بهتر به نظر می‌رسند، ولی در اصل همین کار را می‌کنند: پیش‌بینی توکن بعدی. این دقیقاً دلیل توهم (hallucination) آن‌هاست: چیزی که محتمل به نظر می‌رسد می‌گویند، نه لزوماً چیزی که درست است.

اشتباه رایج: کلمه‌ی آخر متن هیچ «بعدی» ندارد و در جدول نیست؛ اگر followers[word] را بدون چک صدا بزنی KeyError می‌گیری. همیشه if word not in followers: break. اشتباه دوم: فراموش کردن random.seed در آزمایش‌ها، که باعث می‌شود هر بار خروجی عوض شود و نتوانی مقایسه کنی.

مثال‌های این جلسه

چالش‌ها

  1. Followers Table (آسان)
  2. Most Likely Next (آسان)
  3. Build the Table in a Function (متوسط)
  4. Generate Text (متوسط)
  5. Temperature (سخت)
  6. Two Words of Context (سخت)

بیشتر بخوان

← جلسه‌ی 34: احساس مثبت یا منفی جلسه‌ی 36: پروژه: شاعر کوچک →