بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 36: پروژه: ناظر مهربان گالری Project: The Kind Comment Checker

ابزاری می‌سازی که نظرهای گالری را می‌خواند: از ۴۰ نظر برچسب‌دار وزن کلمه‌ها را یاد می‌گیرد، نظرهای «شاید نامهربان» را با دلیلشان نشان می‌دهد، دقتش را روی نظرهای تازه می‌سنجد و تصمیم آخر را به یک آدم می‌سپارد. آخر هم یک «کارت مدل» صادقانه می‌نویسی.

در این جلسه یاد می‌گیری

درس

امروز ابزار واقعی گالری را می‌سازی، در چهار قدم: ۱. یاد گرفتن وزن کلمه‌ها از ۴۰ نظر. ۲. برچسب «شاید نامهربان» با دلیل. ۳. دقت روی ۱۰ نظر آزمون و فهرست اشتباه‌ها. ۴. تصمیم آخر با آدم + کارت مدل. اول با کلمه‌های رنگی دوباره بازی کن و حدس بزن: ابزار تو کدام نوع نظر را اشتباه می‌فهمد؟

داده آماده است: TRAIN چهل نظر برچسب‌دار دارد (۲۰ مهربان، ۲۰ نامهربان) و TEST ده نظر دیگر که ابزار هیچ‌وقت در آموزش نمی‌بیند. همه‌ی این نظرها ساختگی‌اند؛ هیچ نظر واقعی هیچ بچه‌ای در داده نیست. یادگیری همان جلسه‌ی ۳۳ است: هر کلمه در نظر مهربان +1 و در نظر نامهربان -1.

دلیل بیاور: ابزار خوب فقط نمی‌گوید «نامهربان»؛ می‌گوید چرا: «به خاطر boring و slow». این را توضیح‌پذیری می‌گویند. وقتی دلیل را ببینی، می‌فهمی ابزار کجا اشتباه کرده؛ مثلاً اگر کلمه‌ی بی‌گناهی مثل game منفی شده باشد. ", ".join(bad_words) کلمه‌ها را با ویرگول کنار هم می‌گذارد.

bad_words = ["boring", "slow"]
print("because of:", ", ".join(bad_words))

کارت مدل (model card): یک برگه‌ی کوچک کنار هر مدل که صادقانه می‌گوید: با چه داده‌ای آموزش دیده، دقتش روی آزمون چقدر است و کجا خوب کار نمی‌کند. شرکت‌های بزرگ هوش مصنوعی هم برای مدل‌هایشان کارت مدل منتشر می‌کنند. کارت تو هم کنار ابزارت در گالری می‌نشیند.

⚠️ تصمیم آخر با آدم است. ابزار ما «not bad» را بد می‌فهمد و شوخی را نمی‌فهمد. اگر خودکار نظرها را پاک کند، حرف مهربان بعضی بچه‌ها بی‌دلیل پاک می‌شود و حرف نیش‌دار زیرکانه رد می‌شود. پس ابزار فقط پیشنهاد می‌دهد و نشان می‌دهد چرا؛ یک آدم (معلم یا خود نویسنده) تصمیم می‌گیرد. این قانون مهمی برای هر هوش مصنوعی است که درباره‌ی آدم‌ها تصمیم می‌گیرد.

آخر فاز ۳: حالا می‌دانی کامپیوتر چطور از مثال یاد می‌گیرد عکس، حرکت دست و متن را بشناسد، و چطور باید منصفانه آزمایشش کرد. ابزارت را با کارت مدل و برچسب صداقت در گالری بگذار. در فاز ۴ سراغ مدل زبانی واقعی می‌رویم و آن را داخل بازی و سایت خودت به کار می‌بری.

مثال‌های این جلسه

چالش‌ها

  1. Step 1: Learn the Word Weights (آسان)
  2. Step 2: Maybe Unkind, and Why (متوسط)
  3. Step 3: Accuracy and Mistakes (متوسط)
  4. Step 4: A Person Decides (سخت)

بیشتر بخوان

← جلسه‌ی 35: سوگیری: داده‌ی یک‌طرفه جلسه‌ی 37: مدل از داخل کد →