جلسهی 35: سوگیری: دادهی یکطرفه Bias: One-Sided Data
مدلی که فقط با عکسهای یک نفر در نور خوب آموزش دیده، برای بقیه بد کار میکند، ولی «دقت کل» این را پنهان میکند. دقت هر گروه را جدا میسنجی، دادهی کم را پیدا میکنی و با دادهی متعادل مدل منصفتری میسازی.
در این جلسه یاد میگیری
- در پایان این جلسه میدانی سوگیری یعنی مدلی که برای بعضی گروهها بدتر کار میکند، چون دادهاش یکطرفه بوده.
- میتوانی دقت هر گروه را جدا حساب کنی.
- میتوانی نشان بدهی «دقت کل» چطور یک گروه را پنهان میکند.
- میتوانی با دادهی متعادل دقت گروههای جاافتاده را بالا ببری.
درس
این «دوربین بیانصاف» است. مدل اول فقط با ۱۲ عکس سارا در نور خوب آموزش دیده (همان k-NN جلسهی ۲۹، با سه برچسب بالا، پایین و هیچ). نوارها دقت هر نفر را در نور خوب ☀️ و کم 🌙 نشان میدهند. اول حدس بزن: دقت کل چند درصد است و چه کسی بیشتر از همه ضرر کرده؟ بعد «دادهی متعادل» را بزن: ۳۶ عکس، از هر نفر در هر نور.
سوگیری (bias) یعنی مدل برای بعضی آدمها یا موقعیتها بدتر کار میکند؛ معمولاً نه چون کسی بدجنس بوده، بلکه چون داده یکطرفه بوده. مدل ما فقط دست بزرگ سارا را در نور خوب دیده. دست کوچک نیکا که از دور گرفته شده، یا هر دستی در اتاق کمنور، به نظرش شبیه «هیچ» است. مدل فقط چیزی را میشناسد که دیده (یادت هست جلسهی ۲۶؟).
دقت کل دروغ میگوید. اگر ۲۰ عکس از سارا، ۱۰ از امید و ۵ از نیکا داشته باشیم و مدل سارا را ۱۹ از ۲۰، امید را ۸ از ۱۰ و نیکا را ۱ از ۵ درست بگوید، دقت کل ۲۸ از ۳۵ یعنی ۸۰٪ است؛ عالی به نظر میرسد! ولی برای نیکا ۲۰٪ است. پس همیشه دقت هر گروه را جدا حساب کن: یک دیکشنری برای درستها و یکی برای کل.
right = {"sara": 19, "omid": 8, "nika": 1}
total = {"sara": 20, "omid": 10, "nika": 5}
print("all:", sum(right.values()) * 100 // sum(total.values()), "%")
for name in right:
print(name, right[name] * 100 // total[name], "%")راهحل: دادهی متعادل. از هر گروه به اندازهی کافی مثال جمع کن: هر نفر، هر نور، هر برچسب. قبل از آموزش بشمار از هر گروه چند مثال داری؛ گروهی که صفر یا خیلی کم دارد، همان گروهی است که مدل در حقش بیانصافی میکند. در کلاس هم: اگر ماشین یاددهی را فقط با دست یک نفر آموزش بدهید، برای بقیه خوب کار نمیکند.
⚠️ این در دنیای واقعی اتفاق افتاده. چند سیستم تشخیص چهره برای آدمهای با پوست تیرهتر خیلی بیشتر اشتباه میکردند، چون بیشتر عکسهای آموزششان از آدمهای با پوست روشن بود. یک برنامهی استخدام که از رزومههای قدیمی یاد گرفته بود، رزومهی زنها را پایینتر میگذاشت، چون در گذشته بیشتر مردها استخدام شده بودند. وقتی مدل دربارهی آدمها تصمیم میگیرد، دقت هر گروه را بخواه.
بازی بدون کامپیوتر: کلاس یک «مدل» آدمی میسازد: یک نفر فقط با دیدن ۵ عکس از کفشهای ورزشی یاد میگیرد «کفش» چیست. بعد عکس صندل، چکمه و کفش مجلسی نشانش میدهند. کدام را کفش میداند؟ چه عکسهایی باید به تمرینش اضافه شود؟ جلسهی بعد همهی اینها را در یک ابزار واقعی کنار هم میگذاری.
مثالهای این جلسه
چالشها
- One-Sided or Balanced? (آسان)
- Accuracy for Each Person (آسان)
- What the Total Hides (متوسط)
- Who Is Missing? (متوسط)
- The Unfair Camera (سخت)
- Balance the Data (سخت)
بیشتر بخوان
← جلسهی 34: کلمهی بعدی را حدس بزن جلسهی 36: پروژه: ناظر مهربان گالری →