جلسهی 35: پیشبینی کلمهی بعدی Predicting the Next Word
یک مدل زبانی کوچک میسازیم: برای هر کلمه یاد میگیریم چه کلمههایی بعدش میآیند (زنجیرهی مارکوف) و با آن متن تولید میکنیم. ایدهی ChatGPT در اندازهی جیبی.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم از یک متن، جدول «کلمه → کلمههای بعدی» بسازم.
- در پایان این جلسه میتوانم محتملترین کلمهی بعدی را پیدا کنم.
- در پایان این جلسه میتوانم با انتخاب تصادفیِ وزندار جمله تولید کنم.
- در پایان این جلسه میدانم چرا این مدل جملههای «درست ولی بیمعنی» میسازد و چه ربطی به مدلهای بزرگ دارد.
درس
کیبورد گوشیات وقتی مینویسی «سلام، حالت»، پیشنهاد میدهد «چطوره». از کجا میداند؟ از هزاران پیام قبلی یاد گرفته که بعد از «حالت» معمولاً «چطوره» میآید. این سادهترین مدل زبانی است: «با توجه به کلمهی فعلی، کلمهی بعدی چیست؟» ChatGPT هم در اصل همین کار را میکند، فقط با میلیاردها پارامتر و با نگاه به هزاران کلمهی قبل، نه یکی.
قدم اول: از یک متن، جدول «بعدیها» بساز. برای هر کلمه، لیستی از کلمههایی که بلافاصله بعدش آمدهاند. دیکشنری از لیستها. اگر کلمهای چند بار با یک کلمهی بعدی آمده، آن کلمه چند بار در لیست تکرار میشود؛ این تکرار همان «احتمال» است.
text = "the cat sat on the mat the cat ate the fish"
words = text.split()
followers = {}
for i in range(len(words) - 1):
word = words[i]
next_word = words[i + 1]
if word not in followers:
followers[word] = []
followers[word].append(next_word)
print(followers["the"]) # ['cat', 'mat', 'cat', 'fish']
print(followers["cat"]) # ['sat', 'ate']قدم دوم: پیشبینی. محتملترین کلمهی بعد از the کدام است؟ آن که بیشتر در لیست تکرار شده: cat (دو بار). با Counter و most_common(1) پیدا میشود. این «حالت حریصانه» است: همیشه محتملترین.
from collections import Counter
def most_likely(word):
return Counter(followers[word]).most_common(1)[0][0]
print(most_likely("the")) # catقدم سوم: تولید متن. از یک کلمه شروع کن، بعدی را انتخاب کن، بعدیِ بعدی را... اگر همیشه محتملترین را برداریم، متن تکراری و خستهکننده میشود (the cat sat on the mat the cat sat on...). پس تصادفی وزندار انتخاب میکنیم: random.choice(followers[word]). چون cat دو بار در لیست است، شانسش دو برابر fish است. درست مثل همان «احتمال».
import random
def generate(start, length):
word = start
result = [word]
for i in range(length - 1):
if word not in followers:
break
word = random.choice(followers[word])
result.append(word)
return " ".join(result)
random.seed(7)
print(generate("the", 8))اینجا واژهای را میشناسی که در تنظیمات ChatGPT هم هست: دما (temperature). دمای صفر = همیشه محتملترین (حریصانه، تکراری). دمای بالا = تصادفیتر، خلاقتر، ولی گاهی بیمعنی. ما با یک شرط ساده همین را میسازیم: با احتمال temperature تصادفی انتخاب کن، وگرنه محتملترین.
def next_word(word, temperature):
if random.random() < temperature:
return random.choice(followers[word])
return most_likely(word)چرا جملهها «درست ولی بیمعنی» میشوند؟ چون مدل فقط یک کلمهی قبل را میبیند و هیچ درکی از معنا ندارد؛ فقط آمار است. مدلهای بزرگ هزاران کلمهی قبل را میبینند و برای همین خیلی بهتر به نظر میرسند، ولی در اصل همین کار را میکنند: پیشبینی توکن بعدی. این دقیقاً دلیل توهم (hallucination) آنهاست: چیزی که محتمل به نظر میرسد میگویند، نه لزوماً چیزی که درست است.
اشتباه رایج: کلمهی آخر متن هیچ «بعدی» ندارد و در جدول نیست؛ اگر followers[word] را بدون چک صدا بزنی KeyError میگیری. همیشه if word not in followers: break. اشتباه دوم: فراموش کردن random.seed در آزمایشها، که باعث میشود هر بار خروجی عوض شود و نتوانی مقایسه کنی.
مثالهای این جلسه
- مثال حلقه for (هوش مصنوعی با پایتون): for i in range(len(words) - 1):
- مثال تابع (هوش مصنوعی با پایتون): def most_likely(word):
- مثال تابع (هوش مصنوعی با پایتون): def generate(start, length):
- مثال تابع (هوش مصنوعی با پایتون): def next_word(word, temperature):
چالشها
- Followers Table (آسان)
- Most Likely Next (آسان)
- Build the Table in a Function (متوسط)
- Generate Text (متوسط)
- Temperature (سخت)
- Two Words of Context (سخت)
بیشتر بخوان
← جلسهی 34: احساس مثبت یا منفی جلسهی 36: پروژه: شاعر کوچک →