بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 23: آموزش / آزمون Train and Test

نمره‌ای که روی سؤال‌های دیده‌شده می‌گیری دروغ می‌گوید. داده را به دو بخش آموزش و آزمون تقسیم می‌کنیم و دقت واقعی را روی آزمون می‌سنجیم.

در این جلسه یاد می‌گیری

درس

فرض کن معلم دقیقاً همان سؤال‌های تمرین را در امتحان بدهد. نمره‌ی ۲۰ می‌گیری، ولی آیا واقعاً یاد گرفته‌ای یا جواب‌ها را حفظ کرده‌ای؟ معلوم نیست. مدل هم همین‌طور است: اگر دقتش را روی همان مثال‌هایی بسنجیم که با آن‌ها ساخته شده، نمره‌اش بی‌معنی است. k-NN با k=1 روی داده‌ی خودش همیشه ۱۰۰٪ می‌گیرد، چون نزدیک‌ترین همسایه‌ی هر نقطه خودش است!

راه حل ساده و قدرتمند: داده را به دو بخش تقسیم کن. بخش آموزش (train) را به مدل بده و بخش آزمون (test) را قایم کن. بعد مدل را فقط روی آزمون امتحان کن؛ مثل سؤال‌های تازه در امتحان واقعی. معمولاً ۷۰ تا ۸۰ درصد آموزش و بقیه آزمون.

X = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10]]
y = ["a", "a", "a", "a", "a", "b", "b", "b", "b", "b"]

cut = int(len(X) * 0.8)        # 8
X_train, X_test = X[:cut], X[cut:]
y_train, y_test = y[:cut], y[cut:]
print(len(X_train), len(X_test))   # 8 2

یک دام: اگر داده مرتب باشد (اول همه‌ی سیب‌ها، بعد همه‌ی پرتقال‌ها)، بخش آزمون فقط پرتقال می‌شود و مدل هیچ‌وقت در آموزش پرتقال ندیده! قبل از تقسیم باید بُر بزنیم. random.shuffle لیست را به هم می‌ریزد؛ اما X و y باید با هم بُر بخورند، پس اول اندیس‌ها را بُر می‌زنیم.

import random

order = list(range(len(X)))
random.seed(1)            # same shuffle every run, so results repeat
random.shuffle(order)
X = [X[i] for i in order]
y = [y[i] for i in order]

حالا دقت را فقط روی آزمون حساب می‌کنیم: برای هر نقطه‌ی X_test، مدل را با X_train و y_train صدا بزن و با y_test مقایسه کن. این عدد به دقت واقعی روی داده‌ی جدید نزدیک است.

def test_accuracy(model, X_train, y_train, X_test, y_test):
    correct = 0
    for i in range(len(X_test)):
        if model(X_test[i], X_train, y_train) == y_test[i]:
            correct = correct + 1
    return correct / len(X_test)

وقتی دقت آموزش بالا و دقت آزمون پایین است، مدل حفظ کرده نه یاد گرفته؛ به این می‌گویند overfitting (بیش‌برازش). k-NN با k=1 نمونه‌ی کلاسیک آن است. k بزرگ‌تر معمولاً دقت آموزش را کمی کم و دقت آزمون را بیشتر می‌کند. همیشه هر دو عدد را گزارش کن.

اشتباه رایج: تقسیم کردن X و بعد جداگانه بُر زدن y؛ آن‌وقت برچسب‌ها به سطرهای اشتباه می‌چسبند و همه‌چیز خراب می‌شود. همیشه با یک لیست order هر دو را یک‌جور مرتب کن. اشتباه دوم: نگاه کردن به داده‌ی آزمون هنگام ساختن مدل؛ این همان تقلب است.

مثال‌های این جلسه

چالش‌ها

  1. 80/20 Split (آسان)
  2. Shuffle Together (آسان)
  3. Test Accuracy (متوسط)
  4. Memorising Scores 100% (متوسط)
  5. split_data (سخت)
  6. k vs Test Accuracy (سخت)

بیشتر بخوان

← جلسه‌ی 22: k-NN با چند ویژگی جلسه‌ی 24: پروژه: تشخیص هرز →