بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 79: پروژه‌ی آزاد با مربی (۳): آزمودن Open Project (3): Test

جلسه‌ی آزمودن. پروژه را با آزمون پنهانی که جلسه‌ی ۷۷ کنار گذاشتی می‌سنجی: الف نمره‌ی ربات و حمله‌ی آزمایشی به آن، ب ماتریس درهم‌ریختگی، پ داده‌ی پرت و پایداری نتیجه، و برای همه: آیا مدل برای همه‌ی گروه‌ها به یک اندازه خوب است؟

در این جلسه یاد می‌گیری

درس

امروز آزمون پنهان را باز کن. همان سؤال‌ها، تصویرها یا ردیف‌هایی که جلسه‌ی ۷۷ کنار گذاشتی و تا حالا به آن‌ها نگاه نکرده‌ای. یک بار اجرا کن و عدد را همان‌طور که هست یادداشت کن. اگر بعد از این مدل را عوض کردی، باید بگویی «این عدد بعد از دیدن آزمون است»؛ صداقت در گزارش از خود عدد مهم‌تر است.

«کجا» مهم‌تر از «چقدر» است. دقت ۸۰٪ یعنی چه؟ کدام ۲۰٪؟ ماتریس درهم‌ریختگی (فاز ۱، جلسه‌ی ۴۰) نشان می‌دهد هر دسته با کدام دسته اشتباه گرفته می‌شود. برای ربات، چهار جور جواب جلسه‌ی ۷۶ (درست، غلط، توهم، محتاط بی‌جا) همین نقش را دارند.

حمله‌ی آزمایشی (red teaming) به پروژه‌ی خودت: ورودی‌هایی که آدم بدجنس یا بی‌دقت می‌دهد. تلفن و ایمیل، «دستورهای قبلی را نادیده بگیر»، حروف بزرگ (PASSWORD)، سؤال خالی، عدد خیلی بزرگ. برای هر کدام از قبل بنویس رفتار درست چیست، بعد آزمون بگیر. اگر پیدا کردی، خوب است: باگی که خودت پیدا کنی، دیگر کسی پیدا نمی‌کند.

داده‌ی پرت: یک نمره‌ی ۲۰۰ از ۲۰ (اشتباه تایپی) می‌تواند میانگین و همبستگی را کاملاً عوض کند. قبل از تحلیل، بازه‌ی مجاز هر ستون را بررسی کن، ردیف‌های غیرممکن را گزارش کن (نه بی‌صدا پاک) و نتیجه را با و بدون آن‌ها مقایسه کن. اگر نتیجه با یک ردیف عوض می‌شود، نتیجه‌ی پایداری نیست.

⚠️ انصاف: مدل ممکن است برای یک گروه خوب و برای گروه دیگر بد کار کند: دسته‌بندی که فقط با نقاشی‌های گروه خودت آموزش دیده، نقاشی کلاس دیگر را بد می‌شناسد؛ رباتی که با جزوه‌ی یک معلم ساخته شده، اصطلاح‌های معلم دیگر را نمی‌فهمد. دقت را برای هر گروه جدا حساب کن. فاصله‌ی زیاد یعنی سوگیری (فاز صفر، جلسه‌ی ۱۴)، و باید در گزارش بیاید.

سؤال‌های امروز: دو سؤال برای همه (عادت‌های آزمودن، و انصاف)، و برای هر مسیر سؤال‌های خودش. مربی امروز از هر گروه یک سؤال می‌پرسد: «بدترین اشتباه مدلت چه بود و چرا؟» جوابش را برای اسلاید جلسه‌ی ۸۰ نگه دار.

چالش‌ها

  1. All Tracks: Good or Bad Testing Habit? (آسان)
  2. Track A: Score the Bot (آسان)
  3. Track B: The Confusion Matrix (متوسط)
  4. Track C: An Outlier Changes Everything (متوسط)
  5. Track A: Red-Team Your Own Bot (سخت)
  6. All Tracks: Is It Fair to Every Group? (سخت)

← جلسه‌ی 78: پروژه‌ی آزاد با مربی (۲): ساختن جلسه‌ی 80: ارائه و گواهی نهایی →