بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 47: پروژه: شناسای کامل رقم Project: Full Digit Recogniser

همه‌ی تکه‌های جلسه‌های ۴۱ تا ۴۶ را در یک برنامه کنار هم می‌گذاریم: داده‌ی رقم‌ها، شبکه‌ی ۲۵-۱۶-۱۰ با ReLU و softmax، دقت، آموزش با دسته‌های کوچک، دقت آزمون بالای ۹۰٪، فهرست اشتباه‌ها و شناختن رقمی که خودت می‌کشی.

در این جلسه یاد می‌گیری

درس

امروز روز سر هم کردن است. شش جلسه تکه‌ها را جدا ساختیم، مثل قطعه‌های لگو؛ حالا یک ماشین کامل می‌سازیم. نقشه‌ی پروژه شش قدم است و هر قدم روی قدم قبلی ساخته می‌شود: ۱) داده و کشیدن رقم، ۲) وزن‌ها و اجرای رو به جلو، ۳) تابع دقت، ۴) حلقه‌ی آموزش، ۵) دقت آزمون، ۶) اشتباه‌ها و رقم خودت. هر قدم را اجرا کن و خروجی را ببین، بعد برو سراغ بعدی.

مرور تکه‌ی ۱، داده: make_digits همان تابع جلسه‌ی ۴۵ است. هر تصویر ۲۵ عدد صفر و یک است (۵ سطر × ۵ ستون) و noise=2 یعنی در هر نسخه دو پیکسل تصادفی برعکس شده‌اند، مثل لرزش دست. برای دیدن یک تصویر، ۲۵ عدد را پنج‌تا پنج‌تا جدا می‌کنیم: سطر r از خانه‌ی r * 5 شروع می‌شود.

for r in range(5):
    row = pixels[r * 5:r * 5 + 5]
    print("".join("#" if p > 0.5 else "." for p in row))

مرور تکه‌ی ۲، شبکه: ۲۵ ورودی، ۱۶ نورون پنهان با ReLU (منفی‌ها صفر می‌شوند)، ۱۰ خروجی با softmax (ده احتمال که جمعشان ۱ است). وزن‌ها با random.seed(0) و uniform(-0.5, 0.5) شروع می‌شوند تا خروجی همه‌ی ما یکی باشد. وزن‌ها را در یک دیکشنری net نگه می‌داریم تا تابع‌ها بتوانند خودِ آرایه‌ها را عوض کنند.

net = {"W1": rand_matrix(25, 16), "b1": np.zeros(16),
       "W2": rand_matrix(16, 10), "b2": np.zeros(10)}


def forward(x):
    h = np.maximum(0, x @ net["W1"] + net["b1"])
    p = softmax(h @ net["W2"] + net["b2"])
    return h, p

مرور تکه‌ی ۳، دقت: حدس شبکه برای هر تصویر، شماره‌ی ستونی است که بیشترین احتمال را دارد: p.argmax(axis=1). مقایسه‌ی guesses == ys یک آرایه‌ی True/False می‌دهد و mean() سهم Trueها را: همان دقت. قبل از آموزش انتظار داریم حدود ۱۰٪ باشد، یعنی شانسی از بین ده رقم.

مرور تکه‌ی ۴، آموزش: هر دوره (epoch) ترتیب ۲۰۰ تصویر را بُر می‌زنیم و آن‌ها را دسته‌های ۲۰تایی می‌کنیم؛ برای هر دسته یک قدم پس‌انتشار. شیب خروجی همان p - y است (y به شکل one-hot با np.eye(10)). بُر زدن مثل این است که کارت‌های فلش را هر بار قاطی کنی تا ترتیبشان را حفظ نکنی.

order = list(range(len(X)))
for epoch in range(1, 11):
    random.shuffle(order)
    for start in range(0, len(order), 20):
        idx = order[start:start + 20]
        train_step(X[idx], y[idx], 0.5)

اشتباه‌ها را جدی بخوان. در خروجی قدم ۶ می‌بینی شبکه چند بار ۹ را ۸ خوانده. چرا؟ در شکل‌های ما ۸ و ۹ فقط در دو پیکسل فرق دارند و نویز هم دو پیکسل را برعکس می‌کند؛ گاهی یک ۹ واقعاً شبیه ۸ می‌شود! یک دانشمند داده فقط درصد را نمی‌گوید؛ می‌گوید «کجا و چرا اشتباه می‌کند».

⚠️ دقت ۹۶٪ روی مجموعه‌ی کوچک و تمیز ۵×۵ ما، یعنی ۹۶٪ روی دست‌خط واقعی نیست. تصویرهای آزمون ما با همان ده شکل و همان نوع نویز ساخته شده‌اند؛ دست‌خط واقعی کج است، کلفت و نازک دارد، جابه‌جاست و گاهی رقم را جور دیگری می‌نویسند. وقتی کسی گفت «مدل من ۹۶٪ است»، بپرس: روی چه داده‌ای؟ همین سؤال را از مدل خودت هم بپرس.

اگر زود تمام کردی: ۱) رقم‌های دیگری بکش (یک ۷ کج، یک ۱ که یک خانه جابه‌جاست) و ببین شبکه چه می‌گوید و چقدر مطمئن است. ۲) لایه‌ی پنهان را ۸ یا ۳۲ نورون کن و دقت آزمون را مقایسه کن. ۳) آزمون را با make_digits(10, 4, 2) سخت‌تر کن؛ دقت چقدر پایین می‌آید؟

مثال‌های این جلسه

چالش‌ها

  1. Step 1: Data and Drawing (آسان)
  2. Step 2: Weights and Forward Pass (آسان)
  3. Step 3: The Accuracy Function (متوسط)
  4. Step 4: Training with Mini-batches (متوسط)
  5. Step 5: Test Accuracy Above 90% (سخت)
  6. Step 6: Mistakes and Your Own Digit (سخت)

بیشتر بخوان

← جلسه‌ی 46: داده‌ی بزرگ‌تر ۲ جلسه‌ی 48: بیش‌برازش و تعمیم ۱ →