جلسهی 36: پروژه: ناظر مهربان گالری Project: The Kind Comment Checker
ابزاری میسازی که نظرهای گالری را میخواند: از ۴۰ نظر برچسبدار وزن کلمهها را یاد میگیرد، نظرهای «شاید نامهربان» را با دلیلشان نشان میدهد، دقتش را روی نظرهای تازه میسنجد و تصمیم آخر را به یک آدم میسپارد. آخر هم یک «کارت مدل» صادقانه مینویسی.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانی وزن کلمهها را از ۴۰ نظر برچسبدار یاد بگیری.
- میتوانی برای هر نظر مشکوک بگویی کدام کلمهها باعث شک شدند.
- میتوانی دقت را روی نظرهای آزمون بسنجی و اشتباهها را فهرست کنی.
- میتوانی تصمیم آخر را به آدم بسپاری و یک کارت مدل صادقانه بنویسی.
درس
امروز ابزار واقعی گالری را میسازی، در چهار قدم: ۱. یاد گرفتن وزن کلمهها از ۴۰ نظر. ۲. برچسب «شاید نامهربان» با دلیل. ۳. دقت روی ۱۰ نظر آزمون و فهرست اشتباهها. ۴. تصمیم آخر با آدم + کارت مدل. اول با کلمههای رنگی دوباره بازی کن و حدس بزن: ابزار تو کدام نوع نظر را اشتباه میفهمد؟
داده آماده است: TRAIN چهل نظر برچسبدار دارد (۲۰ مهربان، ۲۰ نامهربان) و TEST ده نظر دیگر که ابزار هیچوقت در آموزش نمیبیند. همهی این نظرها ساختگیاند؛ هیچ نظر واقعی هیچ بچهای در داده نیست. یادگیری همان جلسهی ۳۳ است: هر کلمه در نظر مهربان +1 و در نظر نامهربان -1.
دلیل بیاور: ابزار خوب فقط نمیگوید «نامهربان»؛ میگوید چرا: «به خاطر boring و slow». این را توضیحپذیری میگویند. وقتی دلیل را ببینی، میفهمی ابزار کجا اشتباه کرده؛ مثلاً اگر کلمهی بیگناهی مثل game منفی شده باشد. ", ".join(bad_words) کلمهها را با ویرگول کنار هم میگذارد.
bad_words = ["boring", "slow"]
print("because of:", ", ".join(bad_words))کارت مدل (model card): یک برگهی کوچک کنار هر مدل که صادقانه میگوید: با چه دادهای آموزش دیده، دقتش روی آزمون چقدر است و کجا خوب کار نمیکند. شرکتهای بزرگ هوش مصنوعی هم برای مدلهایشان کارت مدل منتشر میکنند. کارت تو هم کنار ابزارت در گالری مینشیند.
⚠️ تصمیم آخر با آدم است. ابزار ما «not bad» را بد میفهمد و شوخی را نمیفهمد. اگر خودکار نظرها را پاک کند، حرف مهربان بعضی بچهها بیدلیل پاک میشود و حرف نیشدار زیرکانه رد میشود. پس ابزار فقط پیشنهاد میدهد و نشان میدهد چرا؛ یک آدم (معلم یا خود نویسنده) تصمیم میگیرد. این قانون مهمی برای هر هوش مصنوعی است که دربارهی آدمها تصمیم میگیرد.
آخر فاز ۳: حالا میدانی کامپیوتر چطور از مثال یاد میگیرد عکس، حرکت دست و متن را بشناسد، و چطور باید منصفانه آزمایشش کرد. ابزارت را با کارت مدل و برچسب صداقت در گالری بگذار. در فاز ۴ سراغ مدل زبانی واقعی میرویم و آن را داخل بازی و سایت خودت به کار میبری.
مثالهای این جلسه
چالشها
- Step 1: Learn the Word Weights (آسان)
- Step 2: Maybe Unkind, and Why (متوسط)
- Step 3: Accuracy and Mistakes (متوسط)
- Step 4: A Person Decides (سخت)
بیشتر بخوان
← جلسهی 35: سوگیری: دادهی یکطرفه جلسهی 37: مدل از داخل کد →