بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 76: ارزیابی مدل Evaluating a Model

«به نظرم خوب کار می‌کند» ارزیابی نیست. یک مجموعه‌ی آزمون می‌سازیم، جواب‌ها را عادلانه نمره می‌دهیم (یکسان‌سازی، کلمه‌ی کلیدی، نمره‌ی جزئی)، توهم را با سؤال‌های بی‌جواب و عددهای ساختگی می‌گیریم و دو پرامپت را روی همان آزمون مقایسه می‌کنیم.

در این جلسه یاد می‌گیری

درس

در فاز ۱ دقت k-NN را روی داده‌ی آزمون حساب کردی، نه روی داده‌ی آموزش (جلسه‌ی ۲۳). برای مدل زبانی هم همین است: یک مجموعه‌ی آزمون بنویس، قبل از این‌که پرامپتت را بهتر کنی، و هر تغییر را با همان آزمون بسنج. بدون عدد، «بهتر شد» فقط یک حس است.

آزمون خوب: ۱) سؤال‌های متنوع: آسان، سخت، و چند سؤال که جوابشان در جزوه نیست (مدل باید بگوید نمی‌دانم). ۲) جواب درست را آدم نوشته و چک کرده، نه خود مدل. ۳) چند سؤال را پنهان نگه دار و هیچ‌وقت پرامپت را روی آن‌ها تنظیم نکن؛ وگرنه همان «حفظ کردن» جلسه‌ی ۲۳ است. ۴) هر بار همه‌ی آزمون را اجرا کن، نه فقط سؤال‌هایی که درست شده‌اند.

نمره دادن عادلانه: «Paris» و «paris.» یک جواب‌اند. پس قبل از مقایسه یکسان‌سازی کن: حروف کوچک، حذف علامت‌ها، فاصله‌های اضافه. جواب‌های بلند را با کلمه‌های کلیدی بسنج: جواب خوب درباره‌ی تبخیر باید vapour و sun را داشته باشد. و نمره‌ی جزئی بده: دو کلمه از سه، یعنی ۶۷٪.

def normalise(text):
    text = text.lower().strip()
    text = "".join(ch for ch in text if ch.isalnum() or ch == " ")
    return " ".join(text.split())

print(normalise("  Water  Vapour! "))   # water vapour

چهار جور جواب: ۱) درست. ۲) غلط: جواب داد، ولی غلط. ۳) توهم: باید می‌گفت نمی‌دانم، ولی چیزی ساخت. ۴) محتاطِ بی‌جا: جواب در جزوه بود، ولی گفت نمی‌دانم. شمردن جدای این‌ها مهم است: مدلی که به همه‌چیز «نمی‌دانم» می‌گوید هرگز توهم نمی‌زند، ولی به درد هم نمی‌خورد.

عددهای ساختگی: یکی از رایج‌ترین توهم‌ها عدد و تاریخ است: منبع می‌گوید ۱۸۸۹ و مدل می‌نویسد ۱۸۸۷. یک بررسی ساده: همه‌ی عددهای جواب را پیدا کن و ببین در منبع هستند یا نه. هر عددی که در منبع نیست، مشکوک است و باید آدم آن را چک کند.

⚠️ مدل را با خودش نمره نده. «از مدل بپرس جوابش درست است؟» آسان است، ولی همان مدلی که توهم زده، معمولاً توهمش را هم تأیید می‌کند. شرکت‌ها گاهی از یک مدل دیگر برای نمره دادن کمک می‌گیرند، اما همیشه با آزمونی که آدم درستی‌اش را چک کرده. ⚠️ و گزارش ارزیابی باید صادق باشد: سؤال‌هایی را که خراب شدند حذف نکن تا عدد قشنگ‌تر شود.

مثال‌های این جلسه

چالش‌ها

  1. Pick the Test Set (آسان)
  2. Exact or Normalised? (آسان)
  3. Key Words and Partial Credit (متوسط)
  4. Right, Wrong, Hallucinated, Over-Cautious (متوسط)
  5. Catch Made-Up Numbers (سخت)
  6. Which Prompt Wins? (سخت)

بیشتر بخوان

← جلسه‌ی 75: تزریق پرامپت و امنیت هوش مصنوعی جلسه‌ی 77: پروژه‌ی آزاد با مربی (۱): نقشه →