بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 42: امتحان کتاب‌باز Open-Book Exam

مدل از جزوه‌ی تو خبر ندارد و ممکن است چیزی از خودش بسازد. یاد می‌گیری جزوه را تکه کنی، تکه‌های مرتبط با سؤال را با کلمه‌های مشترک پیدا کنی و فقط همان‌ها را با قانون «فقط از روی این متن» به مدل بدهی.

در این جلسه یاد می‌گیری

درس

ذره‌بین جزوه. این جزوه درباره‌ی سیاره‌ی ساختگی «نیلو» است؛ هیچ مدلی آن را ندیده. اول حدس بزن: اگر بدون جزوه بپرسی «How long is a day on Nilu?» مدل چه می‌کند؟ می‌گوید نمی‌دانم، یا یک عدد با اطمینان می‌سازد؟ این همان توهم است: دوستی که جواب را نمی‌داند ولی با اطمینان چیزی می‌گوید.

from ai import ask

print(ask("How long is a day on the planet Nilu?"))

راه حل مثل امتحان کتاب‌باز است: جزوه را کنار مدل بگذار و بگو «فقط از روی این جواب بده، وگرنه بگو نمی‌دانم». ولی جزوه‌ی بزرگ را نمی‌شود کامل فرستاد (توکن!). پس جزوه را تکه می‌کنیم (هر پاراگراف یک تکه) و فقط تکه‌هایی را می‌فرستیم که به سؤال مربوط‌اند. به این کار می‌گویند RAG: اول پیدا کن، بعد جواب بساز.

چطور بفهمیم کدام تکه مربوط است؟ ساده‌ترین راه: کلمه‌های مشترک. سؤال و تکه را به مجموعه‌ی کلمه تبدیل کن (حرف کوچک، بدون علامت، بدون کلمه‌های خیلی رایج مثل the و is). اشتراک دو مجموعه (&) کلمه‌های مشترک است و تعدادش امتیاز تکه.

q = {"day", "nilu", "long"}
part = {"nilu", "small", "planet", "day", "hours"}
print(q & part)
print("score:", len(q & part))

در پرامپت هر تکه را با شماره بگذار ([1]، [2]…) تا جواب بتواند بگوید از کجا آمده: «منبع: تکه‌ی ۱». اگر هیچ تکه‌ای امتیاز نگرفت، اصلاً مدل را صدا نزن: خود برنامه بگوید «نمی‌دانم». ارزان‌تر است و توهم هم ندارد.

⚠️ منبع هم اشتباه دارد. جواب از روی جزوه فقط به اندازه‌ی خود جزوه درست است. اگر جزوه کهنه یا غلط باشد، جواب هم غلط است، فقط با اطمینان بیشتر! برای همین شماره‌ی منبع را نشان بده تا خواننده بتواند خودش بررسی کند. و یادت باشد: جواب‌دادن از روی جزوه‌ی کس دیگر به جای خودت، در امتحان واقعی تقلب است.

مثال‌های این جلسه

چالش‌ها

  1. Only from the Handout (آسان)
  2. Cut the Handout (آسان)
  3. Words and Scores (متوسط)
  4. The Best Parts (متوسط)
  5. A Prompt with Sources (سخت)
  6. The Handout Bot (سخت)

بیشتر بخوان

← جلسه‌ی 41: هوش مصنوعی مرحله می‌سازد جلسه‌ی 43: ابزار دادن به مدل →