جلسهی 23: آموزش / آزمون Train and Test
نمرهای که روی سؤالهای دیدهشده میگیری دروغ میگوید. داده را به دو بخش آموزش و آزمون تقسیم میکنیم و دقت واقعی را روی آزمون میسنجیم.
در این جلسه یاد میگیری
- در پایان این جلسه میدانم چرا سنجیدن مدل روی دادهی آموزش گولزننده است.
- در پایان این جلسه میتوانم یک لیست را به دو بخش آموزش و آزمون تقسیم کنم.
- در پایان این جلسه میتوانم دقت را فقط روی بخش آزمون حساب کنم.
- در پایان این جلسه میدانم «حفظ کردن» (overfitting) یعنی چه.
درس
فرض کن معلم دقیقاً همان سؤالهای تمرین را در امتحان بدهد. نمرهی ۲۰ میگیری، ولی آیا واقعاً یاد گرفتهای یا جوابها را حفظ کردهای؟ معلوم نیست. مدل هم همینطور است: اگر دقتش را روی همان مثالهایی بسنجیم که با آنها ساخته شده، نمرهاش بیمعنی است. k-NN با k=1 روی دادهی خودش همیشه ۱۰۰٪ میگیرد، چون نزدیکترین همسایهی هر نقطه خودش است!
راه حل ساده و قدرتمند: داده را به دو بخش تقسیم کن. بخش آموزش (train) را به مدل بده و بخش آزمون (test) را قایم کن. بعد مدل را فقط روی آزمون امتحان کن؛ مثل سؤالهای تازه در امتحان واقعی. معمولاً ۷۰ تا ۸۰ درصد آموزش و بقیه آزمون.
X = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10]]
y = ["a", "a", "a", "a", "a", "b", "b", "b", "b", "b"]
cut = int(len(X) * 0.8) # 8
X_train, X_test = X[:cut], X[cut:]
y_train, y_test = y[:cut], y[cut:]
print(len(X_train), len(X_test)) # 8 2یک دام: اگر داده مرتب باشد (اول همهی سیبها، بعد همهی پرتقالها)، بخش آزمون فقط پرتقال میشود و مدل هیچوقت در آموزش پرتقال ندیده! قبل از تقسیم باید بُر بزنیم. random.shuffle لیست را به هم میریزد؛ اما X و y باید با هم بُر بخورند، پس اول اندیسها را بُر میزنیم.
import random
order = list(range(len(X)))
random.seed(1) # same shuffle every run, so results repeat
random.shuffle(order)
X = [X[i] for i in order]
y = [y[i] for i in order]حالا دقت را فقط روی آزمون حساب میکنیم: برای هر نقطهی X_test، مدل را با X_train و y_train صدا بزن و با y_test مقایسه کن. این عدد به دقت واقعی روی دادهی جدید نزدیک است.
def test_accuracy(model, X_train, y_train, X_test, y_test):
correct = 0
for i in range(len(X_test)):
if model(X_test[i], X_train, y_train) == y_test[i]:
correct = correct + 1
return correct / len(X_test)وقتی دقت آموزش بالا و دقت آزمون پایین است، مدل حفظ کرده نه یاد گرفته؛ به این میگویند overfitting (بیشبرازش). k-NN با k=1 نمونهی کلاسیک آن است. k بزرگتر معمولاً دقت آموزش را کمی کم و دقت آزمون را بیشتر میکند. همیشه هر دو عدد را گزارش کن.
اشتباه رایج: تقسیم کردن X و بعد جداگانه بُر زدن y؛ آنوقت برچسبها به سطرهای اشتباه میچسبند و همهچیز خراب میشود. همیشه با یک لیست order هر دو را یکجور مرتب کن. اشتباه دوم: نگاه کردن به دادهی آزمون هنگام ساختن مدل؛ این همان تقلب است.
مثالهای این جلسه
- مثال لیست (هوش مصنوعی با پایتون): X = [[1], [2], [3], [4], [5], [6], [7], [8]…
- مثال ماژول random و math (هوش مصنوعی با پایتون): order = list(range(len(X)))
- مثال تابع (هوش مصنوعی با پایتون): def test_accuracy(model, X_train, y_train, …
چالشها
- 80/20 Split (آسان)
- Shuffle Together (آسان)
- Test Accuracy (متوسط)
- Memorising Scores 100% (متوسط)
- split_data (سخت)
- k vs Test Accuracy (سخت)
بیشتر بخوان
- لیست در پایتون: آموزش کامل list با مثال، متدها و نکتهها
- کتابخانه random در پایتون و آموزش ماژولها با بازی تاس و حدس عدد
- تابع در پایتون: آموزش def، پارامتر و return با مثال
← جلسهی 22: k-NN با چند ویژگی جلسهی 24: پروژه: تشخیص هرز →