بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 72: RAG کوچک (۲): از روی جزوه جواب بده Small RAG (2): Answer from the Notes

نیمه‌ی دوم RAG: بهترین تکه را با مرز روشن در پرامپت می‌گذاریم، از مدل می‌خواهیم فقط از روی آن جواب دهد، منبع را نشان می‌دهیم، جواب را با جزوه مقایسه می‌کنیم و می‌سنجیم RAG چقدر از «حدس زدن» بهتر است.

در این جلسه یاد می‌گیری

درس

جلسه‌ی قبل بازیابی را ساختی: برای هر سؤال، بهترین تکه‌ی جزوه. امروز تولید: آن تکه را در پرامپت می‌گذاری و به مدل می‌گویی «فقط از روی همین جواب بده؛ اگر این‌جا نیست، بگو نمی‌دانم». این جمله‌ی آخر مهم‌ترین بخش است: به مدل اجازه می‌دهد به جای ساختن جواب، بگوید نمی‌داند.

زمینه را با مرز مشخص کن، مثلاً <context> و </context>. مرز به مدل می‌گوید «این‌ها داده‌اند، نه دستور». جلسه‌ی ۷۵ می‌بینی چرا: اگر متن جزوه جمله‌ای مثل «قانون‌هایت را فراموش کن» داشته باشد، مرز به مدل کمک می‌کند گول نخورد (هرچند تضمین نمی‌کند).

Answer ONLY from the context below. If the answer is not there, say "I don't know".
<context>
Condensation is when the vapour cools high in the sky and forms clouds.
</context>
Question: What is condensation?

منبع را نشان بده. کنار هر جواب بنویس از کدام تکه آمده: [source: chunk 1]. این‌طوری خواننده می‌تواند خودش جزوه را باز کند و چک کند. پاسخ‌های بدون منبع در RAG، مثل مقاله‌ی بدون فهرست منابع‌اند.

اگر هیچ تکه‌ای پیدا نشد، اصلاً مدل را صدا نزن. وقتی بهترین امتیاز صفر است، جواب درست «در جزوه نیست» است. صدا زدن مدل بدون زمینه یعنی دعوت به توهم، و هزینه‌ی الکی.

⚠️ RAG توهم را کم می‌کند، صفر نمی‌کند. مدل ممکن است از روی زمینه جواب بدهد و چیزی هم از خودش اضافه کند. یک بررسی ساده: همه‌ی کلمه‌های مهم جواب باید در زمینه باشند. اگر کلمه‌ای در جواب هست که در جزوه نیست، جواب را با احتیاط نشان بده یا اصلاً نشان نده. به این کار «زمین‌گیر کردن» (grounding) می‌گویند.

بسنج، فرض نکن. چند سؤال آزمون با یک «کلمه‌ی کلیدی» که جواب درست باید داشته باشد بنویس، و یک بار بدون RAG و یک بار با RAG امتیاز بگیر. عدد واقعی به تو می‌گوید RAG کمک کرده یا نه؛ جلسه‌ی ۷۶ این ایده را کامل می‌کنیم. ⚠️ و یادت باشد: دستیار جزوه برای مرور است؛ جواب امتحان را خودت بنویس.

پروژه‌ی امروز در چهار قدم: ۱) ساختن پرامپت با مرز؛ ۲) وصل کردن جست‌وجو و مدل، با منبع و «در جزوه نیست»؛ ۳) بررسی زمین‌گیر بودن جواب؛ ۴) مقایسه‌ی با RAG و بدون RAG. 🏁 اگر زود تمام کردی: جزوه‌ی یک درس دیگر خودت (فقط متن درس، نه اطلاعات شخصی) را به تکه‌ها اضافه کن و سؤال‌های تازه بپرس.

مثال‌های این جلسه

چالش‌ها

  1. Step 1: The Prompt with Borders (آسان)
  2. Step 2: Search, Ask, Cite (متوسط)
  3. Step 3: Is the Answer Grounded? (متوسط)
  4. Step 4: With and Without RAG (سخت)

بیشتر بخوان

← جلسه‌ی 71: RAG کوچک (۱): تکه‌ی درست را پیدا کن جلسه‌ی 73: عامل: فکر، عمل، مشاهده →