جلسهی 49: بیشبرازش و تعمیم ۲ Overfitting and Generalisation 2
داده را سه کپه میکنیم: آموزش، اعتبارسنجی و آزمون. اندازهی لایهی پنهان و تعداد دورهها را با کپهی اعتبارسنجی انتخاب میکنیم، بهترین دوره را با .copy() نگه میداریم (توقف زودهنگام) و آزمون را فقط یک بار، در آخر، نگاه میکنیم.
در این جلسه یاد میگیری
- در پایان این جلسه میدانم چرا به سه کپهی آموزش، اعتبارسنجی و آزمون نیاز داریم.
- در پایان این جلسه میتوانم اندازهی لایهی پنهان را با دقت اعتبارسنجی انتخاب کنم.
- در پایان این جلسه میتوانم توقف زودهنگام بنویسم و وزنهای بهترین دوره را با
.copy()نگه دارم. - در پایان این جلسه میتوانم یک خط لولهی کامل بسازم که آزمون را فقط یک بار لمس کند.
درس
در جلسهی قبل دیدیم دقت آموزش دروغ میگوید، پس با آزمون قضاوت کردیم. اما یک مشکل تازه: اگر ۲۰ اندازهی شبکه را امتحان کنی و هر بار به آزمون نگاه کنی و بهترین را برداری، کمکم شبکه را برای همان ۱۰۰ تصویر آزمون تنظیم کردهای. آزمون دیگر «تازه» نیست. مثل اینکه قبل از امتحان نهایی، ده بار نمونهسؤالهای همان امتحان را ببینی.
راهحل: سه کپه. آموزش برای یاد گرفتن وزنها. اعتبارسنجی (validation) برای همهی انتخابهای ما: چند نورون، چند دوره، چه نرخ یادگیری. آزمون فقط یک بار، در آخر، برای گزارش صادقانه. مثل فوتبال: تمرین (آموزش)، بازی دوستانه برای انتخاب ترکیب تیم (اعتبارسنجی)، و فینال (آزمون) که فقط یک بار بازی میشود.
X, y = make_digits(20, 4, 1) # train
Xv, yv = make_digits(10, 4, 3) # validation
Xt, yt = make_digits(10, 4, 2) # test: once, at the endامروز داده را سختتر کردهایم: noise=4 یعنی هر تصویر چهار پیکسل برعکس دارد. با نویز ۲ شبکهی ۱۶ نورونی روی اعتبارسنجی ۹۲٪ میگرفت؛ با نویز ۴ میشود ۸۲٪. دادهی سختتر جایی است که انتخابهای خوب واقعاً فرق میکنند. چیزهایی مثل تعداد نورون و تعداد دوره را که ما انتخاب میکنیم (نه آموزش) «ابرپارامتر» میگویند.
انتخاب اندازهی لایهی پنهان: برای هر اندازه یک شبکهی تازه بساز، ۱۰ دوره آموزش بده، روی اعتبارسنجی بسنج و بهترین را نگه دار. نتیجه: ۴ نورون ۶۲٪، ۸ نورون ۷۸٪، ۱۶ و ۳۲ نورون ۸۲٪. خیلی کوچک یعنی شبکه جا ندارد الگو را یاد بگیرد؛ از یک جا به بعد، بزرگتر کردن دیگر کمکی نمیکند.
توقف زودهنگام (early stopping): بعد از هر دوره دقت اعتبارسنجی را بسنج. معمولاً اول بالا میرود، بعد بالا و پایین میپرد یا پایین میآید چون شبکه دارد نویزِ آموزش را حفظ میکند. پس وزنهای بهترین دوره را نگه میداریم. با شبکهی ۳۲ نورونی بهترین دوره ۱۱ است (۸۹٪) و دورهی آخر ۸۷٪.
تلهی مهم: best_net = net کپی نمیسازد! فقط یک اسم دیگر برای همان آرایههاست و -= در دورههای بعد همان آرایهها را عوض میکند. مثل اینکه از کلاس عکس بگیری ولی به جای عکس، فقط آدرس کلاس را یادداشت کنی. با .copy() یک عکس واقعی میگیری که دیگر عوض نمیشود.
best_net = net # same arrays: changes later!
best_net = {name: a.copy() for name, a in net.items()} # a real snapshotصبر (patience): لازم نیست همیشه ۳۰ دوره برویم. اگر چند دوره پشت سر هم رکورد اعتبارسنجی شکسته نشد، آموزش را متوقف کن. با صبر ۳، آموزش در دورهی ۱۴ میایستد و بهترین همان دورهی ۱۱ است. وقت و برق کمتر، همان نتیجه.
⚠️ تنظیم کردن روی دادهی آزمون یعنی تقلب از خودت. در خط لولهی ما اعتبارسنجی ۸۹٪ بود ولی آزمونِ یکباره ۸۰٪؛ چون ما شبکه را برای همان کپهی اعتبارسنجی انتخاب کرده بودیم، آن عدد کمی خوشبینانه است. اگر همین کار را با آزمون میکردیم، عدد گزارششدهمان دروغ میشد. برای همین در مقالههای علمی و مسابقههای هوش مصنوعی، برچسبهای آزمون را پنهان میکنند و استفاده از آن برای تنظیم ممنوع است.
مثالهای این جلسه
- مثال پایتون (هوش مصنوعی با پایتون): X, y = make_digits(20, 4, 1) # train
- مثال دیکشنری (هوش مصنوعی با پایتون): best_net = {name: a.copy() for name, a in n…
چالشها
- Harder Data (آسان)
- A Real Validation Pile (آسان)
- Pick the Hidden Size (متوسط)
- Keep the Best Epoch (متوسط)
- Patience (سخت)
- Touch the Test Once (سخت)