جلسهی 34: کلمهی بعدی را حدس بزن Guess the Next Word
یک «شاعر کوچک» میسازی که فقط شمرده بعد از هر کلمه چه کلمههایی آمده و با همین جدول شعر میسازد. «دما» میگوید چقدر جسور باشد: دمای کم تکراری، دمای زیاد بیمعنی. ChatGPT هم در اصل همین کار را میکند، با میلیاردها مثال.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانی جدول «کلمه ← کلمههای بعدی» را از چند جمله بسازی.
- میتوانی با پرتکرارترین کلمهی بعدی یک جمله تولید کنی.
- میتوانی با
random.choiceجملههای تازه بسازی و دما را توضیح بدهی. - میدانی چرا مدل زبانی جملههایی میسازد که درست به نظر میآیند ولی ساختگیاند.
درس
این شاعر کوچک فقط ۱۲ شعر خیلی کوتاه خوانده. جدول پایینش نشان میدهد بعد از «the» هر کلمه چند بار آمده. «بنویس» را چند بار بزن. اول حدس بزن: اگر دما را ۰ کنی، هر بار همان شعر را میگوید یا شعرهای مختلف؟ دما را ۳ کن: چه شد؟ کدام شعرها را عیناً در ۱۲ شعر اصلی دیده و کدام را خودش «ساخته»؟
جدول کلمهی بعدی: برای هر جمله، هر کلمه و کلمهی بعدش را نگاه کن و کلمهی بعدی را در لیست آن کلمه بگذار: table["the"] میشود ["cat", "mat", "cat", "sun", …]. تکراریها مهماند: اگر cat دو بار آمده، شانسش دو برابر است. این جدول کل «دانش» شاعر ماست!
table = {}
words = "the cat sat on the mat".split()
for i in range(len(words) - 1):
if words[i] not in table:
table[words[i]] = []
table[words[i]].append(words[i + 1])
print(table)تولید متن: از یک کلمه شروع کن، کلمهی بعدی را از جدول انتخاب کن، بعد کلمهی بعد از آن را… تا جمله تمام شود. دمای ۰: همیشه پرتکرارترین را انتخاب کن؛ مطمئن ولی تکراری. دمای ۱: random.choice(table[word])؛ چون تکراریها در لیست بیشترند، شانسشان بیشتر است. دمای زیاد: هر کلمهای، حتی بیربط؛ خلاق ولی بیمعنی.
ChatGPT همین است، فقط خیلی بزرگتر. مدل زبانی بزرگ هم هر بار فقط کلمهی بعدی را حدس میزند. فرقش این است که بهجای ۱۲ شعر، میلیاردها صفحه خوانده و بهجای فقط کلمهی قبلی، هزاران کلمهی قبل را نگاه میکند. در تنظیمات خیلی از چتباتها هم اسلایدری به اسم temperature هست!
⚠️ روان بودن یعنی درست بودن نیست. شاعر ما جملهی «the moon sat on the mat» را میسازد که هیچکس ننوشته؛ فقط شبیه جملههایی است که دیده. مدلهای بزرگ هم همینطور جملههایی میسازند که کاملاً مطمئن و روان به نظر میآیند ولی ساختگیاند: اسم کتابی که وجود ندارد، تاریخی که غلط است. یادت هست در جلسهی ۹ به این چه گفتیم؟ توهم. همیشه جواب مهم را از منبع دیگری هم بررسی کن.
بازی بدون کامپیوتر: کلاس یک داستان دو جملهای مینویسد. بعد هر کس فقط با نگاه به آخرین کلمه کلمهی بعدی را میگوید و دور میچرخد. داستان چقدر زود بیمعنی میشود؟ حالا بازی را تکرار کنید ولی هر کس سه کلمهی آخر را ببیند. بهتر شد؟ این همان «زمینهی طولانی» مدلهای بزرگ است.
مثالهای این جلسه
چالشها
- Temperature Zero (آسان)
- Build the Table (آسان)
- The Most Common Next Word (متوسط)
- A Random Poet (متوسط)
- Three Temperatures (سخت)
- Real or Made Up? (سخت)