بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 34: کلمه‌ی بعدی را حدس بزن Guess the Next Word

یک «شاعر کوچک» می‌سازی که فقط شمرده بعد از هر کلمه چه کلمه‌هایی آمده و با همین جدول شعر می‌سازد. «دما» می‌گوید چقدر جسور باشد: دمای کم تکراری، دمای زیاد بی‌معنی. ChatGPT هم در اصل همین کار را می‌کند، با میلیاردها مثال.

در این جلسه یاد می‌گیری

درس

این شاعر کوچک فقط ۱۲ شعر خیلی کوتاه خوانده. جدول پایینش نشان می‌دهد بعد از «the» هر کلمه چند بار آمده. «بنویس» را چند بار بزن. اول حدس بزن: اگر دما را ۰ کنی، هر بار همان شعر را می‌گوید یا شعرهای مختلف؟ دما را ۳ کن: چه شد؟ کدام شعرها را عیناً در ۱۲ شعر اصلی دیده و کدام را خودش «ساخته»؟

جدول کلمه‌ی بعدی: برای هر جمله، هر کلمه و کلمه‌ی بعدش را نگاه کن و کلمه‌ی بعدی را در لیست آن کلمه بگذار: table["the"] می‌شود ["cat", "mat", "cat", "sun", …]. تکراری‌ها مهم‌اند: اگر cat دو بار آمده، شانسش دو برابر است. این جدول کل «دانش» شاعر ماست!

table = {}
words = "the cat sat on the mat".split()
for i in range(len(words) - 1):
    if words[i] not in table:
        table[words[i]] = []
    table[words[i]].append(words[i + 1])
print(table)

تولید متن: از یک کلمه شروع کن، کلمه‌ی بعدی را از جدول انتخاب کن، بعد کلمه‌ی بعد از آن را… تا جمله تمام شود. دمای ۰: همیشه پرتکرارترین را انتخاب کن؛ مطمئن ولی تکراری. دمای ۱: random.choice(table[word])؛ چون تکراری‌ها در لیست بیشترند، شانسشان بیشتر است. دمای زیاد: هر کلمه‌ای، حتی بی‌ربط؛ خلاق ولی بی‌معنی.

ChatGPT همین است، فقط خیلی بزرگ‌تر. مدل زبانی بزرگ هم هر بار فقط کلمه‌ی بعدی را حدس می‌زند. فرقش این است که به‌جای ۱۲ شعر، میلیاردها صفحه خوانده و به‌جای فقط کلمه‌ی قبلی، هزاران کلمه‌ی قبل را نگاه می‌کند. در تنظیمات خیلی از چت‌بات‌ها هم اسلایدری به اسم temperature هست!

⚠️ روان بودن یعنی درست بودن نیست. شاعر ما جمله‌ی «the moon sat on the mat» را می‌سازد که هیچ‌کس ننوشته؛ فقط شبیه جمله‌هایی است که دیده. مدل‌های بزرگ هم همین‌طور جمله‌هایی می‌سازند که کاملاً مطمئن و روان به نظر می‌آیند ولی ساختگی‌اند: اسم کتابی که وجود ندارد، تاریخی که غلط است. یادت هست در جلسه‌ی ۹ به این چه گفتیم؟ توهم. همیشه جواب مهم را از منبع دیگری هم بررسی کن.

بازی بدون کامپیوتر: کلاس یک داستان دو جمله‌ای می‌نویسد. بعد هر کس فقط با نگاه به آخرین کلمه کلمه‌ی بعدی را می‌گوید و دور می‌چرخد. داستان چقدر زود بی‌معنی می‌شود؟ حالا بازی را تکرار کنید ولی هر کس سه کلمه‌ی آخر را ببیند. بهتر شد؟ این همان «زمینه‌ی طولانی» مدل‌های بزرگ است.

مثال‌های این جلسه

چالش‌ها

  1. Temperature Zero (آسان)
  2. Build the Table (آسان)
  3. The Most Common Next Word (متوسط)
  4. A Random Poet (متوسط)
  5. Three Temperatures (سخت)
  6. Real or Made Up? (سخت)

بیشتر بخوان

← جلسه‌ی 33: خوب یا بد؟ جلسه‌ی 35: سوگیری: داده‌ی یک‌طرفه →