بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 48: بیش‌برازش و تعمیم ۱ Overfitting and Generalisation 1

حفظ کردن با یاد گرفتن فرق دارد. یک «مدل جدول» که هر تصویر را عیناً حفظ می‌کند، k-NN با k کوچک و بزرگ، و یک شبکه‌ی بزرگ روی فقط ده تصویر را می‌سازیم و فاصله‌ی دقت آموزش و آزمون را اندازه می‌گیریم: بیش‌برازش.

در این جلسه یاد می‌گیری

درس

دو نفر برای امتحان ریاضی آماده می‌شوند. سارا جواب‌های امتحان پارسال را حفظ می‌کند: «سؤال ۳، جواب ۴۲». امید روش حل را یاد می‌گیرد. اگر امتحان امسال عین پارسال باشد، هر دو ۲۰ می‌گیرند. ولی معلم عددها را عوض می‌کند... سارا گیر می‌کند. به مدلی که مثل سارا داده‌ی آموزش را حفظ می‌کند و روی داده‌ی تازه شکست می‌خورد می‌گوییم بیش‌برازش (overfitting). کار خوبِ امید اسمش تعمیم است: درست جواب دادن به چیزی که قبلاً ندیده.

ساده‌ترین حفظ‌کن دنیا: یک دیکشنری که کلیدش خودِ تصویر است و مقدارش برچسب. آرایه نمی‌تواند کلید دیکشنری باشد، پس با tuple(x.tolist()) آن را به تاپل تبدیل می‌کنیم. پیش‌بینی یعنی «اگر عین این تصویر را دیده‌ام، برچسبش را بگو؛ وگرنه نمی‌دانم (۱-)».

table = {}
for i in range(len(X)):
    table[tuple(X[i].tolist())] = int(y[i])

def lookup(pixels):
    return table.get(tuple(pixels.tolist()), -1)

نتیجه: روی آموزش ۹۹.۵٪ (فقط یکی غلط، چون یک ۶ و یک ۸ با نویز دقیقاً یک تصویر شده‌اند!) و روی آزمون ۷٪. چرا این‌قدر بد؟ ۹۳ تا از ۱۰۰ تصویر آزمون را اصلاً ندیده؛ نویز تصادفی هر بار پیکسل‌های دیگری را برعکس می‌کند. حفظ کردن فقط وقتی کار می‌کند که دنیا عیناً تکرار شود، و دنیا هیچ‌وقت عیناً تکرار نمی‌شود.

k-NN با k=1 هم یک جور حفظ‌کن مؤدب است: روی داده‌ی آموزش، نزدیک‌ترین همسایه‌ی هر تصویر خودِ آن است (فاصله صفر)، پس تقریباً ۱۰۰٪ می‌گیرد. اما از تصویرهای نزدیک هم استفاده می‌کند، پس روی آزمون ۸۹٪ است، نه ۷٪. با k=9 نُه همسایه رأی می‌دهند: یک تصویر نویزی دیگر نمی‌تواند تنهایی تصمیم بگیرد. دقت آموزش کمی پایین می‌آید (۹۷٪) ولی آزمون بالا می‌رود (۹۶٪).

حالا یک شبکه‌ی بزرگ: ۶۴ نورون پنهان یعنی 25*64 + 64 + 64*10 + 10 = 2314 پیچ قابل تنظیم. فقط ۱۰ تصویر (از هر رقم یکی) و ۲۰۰ دوره آموزش. با این‌همه پیچ برای این‌قدر کم داده، شبکه راحت هر ده تصویر را حفظ می‌کند: آموزش ۱۰۰٪، آزمون ۶۷٪. مثل این‌که با ۲۳۱۴ کلمه بخواهی ده جمله را حفظ کنی؛ لازم نیست چیزی بفهمی.

عدد مهم این جلسه فاصله است: دقت آموزش منهای دقت آزمون. فاصله‌ی بزرگ یعنی بیش‌برازش. خوشبختانه داروی اصلی‌اش ساده است: داده‌ی بیشتر. با ۱۰، ۲۰، ۵۰ و ۲۰۰ تصویر، فاصله از ۳۳ به ۱۳ و بعد ۸ می‌رسد. هرچه مثال‌ها متنوع‌تر باشند، حفظ کردن سخت‌تر و یاد گرفتن به‌صرفه‌تر می‌شود.

train = accuracy(net, Xs, ys)
test = accuracy(net, Xt, yt)
print("gap", train - test)

اشتباه رایج: «دقت آزمون» را روی همان تصویرهای آموزش حساب کردن، مثلاً accuracy(net, Xs, ys) را دو بار نوشتن. برنامه بدون خطا اجرا می‌شود و عدد قشنگی هم می‌دهد؛ فقط دروغ است. همیشه چک کن داده‌ی آزمون (Xt, yt) با make_digits و seed دیگری ساخته شده باشد.

⚠️ بیش‌برازش گولت می‌زند، چون عددش قشنگ است. مدل جدولِ خودت ۹۹.۵٪ گرفت و تقریباً هیچ چیز نمی‌فهمد! هر وقت دقتی دیدی (در یک تبلیغ، در گزارش دوستت، در خروجی برنامه‌ی خودت)، اول بپرس: «روی چه داده‌ای اندازه گرفته شده؟» عددی که روی داده‌ی آموزش است، درباره‌ی دنیای واقعی چیزی نمی‌گوید.

مثال‌های این جلسه

چالش‌ها

  1. Memorise Everything (آسان)
  2. Ask More Neighbours (آسان)
  3. The Neighbours Vote (متوسط)
  4. Ten Pictures Only (متوسط)
  5. More Data, Smaller Gap (سخت)
  6. Measured on What? (سخت)

بیشتر بخوان

← جلسه‌ی 47: پروژه: شناسای کامل رقم جلسه‌ی 49: بیش‌برازش و تعمیم ۲ →