بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 10: آموزش یعنی اصلاح اشتباه Training Means Fixing Mistakes

نورون خودش وزن‌هایش را یاد می‌گیرد: هر بار که اشتباه کرد، وزن‌ها را کمی در جهت درست تغییر می‌دهد. خطا را با Turtle نمودار می‌کنی.

در این جلسه یاد می‌گیری

درس

جلسه‌ی پیش وزن‌ها را خودمان پیدا کردیم. حالا نورون خودش یاد بگیرد. ایده: به نورون یک مثال نشان بده؛ اگر جواب درست بود، هیچ. اگر غلط بود، وزن‌ها را کمی در جهتی تغییر بده که جواب درست‌تر شود.

خطا = جواب درست − جواب نورون. اگر نورون 0 گفت ولی باید 1 می‌گفت، خطا +1 است و وزن ورودی‌های فعال باید بیشتر شود. اگر 1 گفت و باید 0 می‌گفت، خطا -1 و وزن‌ها کم می‌شوند. این قانون پرسپترون است (۱۹۵۸!).

rate = 0.1
w1, w2, bias = 0.0, 0.0, 0.0

def guess(x1, x2):
    if x1 * w1 + x2 * w2 + bias >= 0:
        return 1
    return 0

به جای آستانه از بایاس استفاده می‌کنیم: یک عدد که همیشه جمع می‌شود و خودش هم یاد گرفته می‌شود (آستانه‌ی ثابت 0). قانون برای هر مثال:

x1, x2, want = 1, 1, 1
error = want - guess(x1, x2)
w1 = w1 + rate * error * x1
w2 = w2 + rate * error * x2
bias = bias + rate * error
print(w1, w2, bias)

یک دور (epoch) یعنی یک بار رد شدن از همه‌ی مثال‌ها. چند دور تکرار می‌کنیم و در هر دور می‌شماریم چند اشتباه بود. وقتی اشتباه صفر شد، آموزش تمام است.

data = [(0, 0, 0), (0, 1, 0), (1, 0, 0), (1, 1, 1)]
for epoch in range(10):
    mistakes = 0
    for x1, x2, want in data:
        error = want - guess(x1, x2)
        if error != 0:
            mistakes += 1
            w1 += rate * error * x1
            w2 += rate * error * x2
            bias += rate * error
    print("epoch", epoch, "mistakes", mistakes)

نمودار خطا را با Turtle بکش: محور x شماره‌ی دور، محور y تعداد اشتباه. هر دور یک نقطه؛ خط باید پایین بیاید. دانشمندان داده هر روز به چنین نموداری نگاه می‌کنند.

import turtle
mistakes_per_epoch = [3, 2, 2, 1, 0, 0]
turtle.penup()
turtle.goto(-150, -100)
turtle.pendown()
x = -150
for m in mistakes_per_epoch:
    turtle.goto(x, -100 + m * 40)
    x += 50

⚠️ نکته‌ی مهم: اگر داده‌ها قابل جدا کردن با یک خط نباشند (مثل XOR)، یک نورون هرگز یاد نمی‌گیرد و خطا هیچ‌وقت صفر نمی‌شود. برای همین حلقه‌ی آموزش باید سقف دور داشته باشد. در دنیای واقعی هم مدل‌ها همیشه کمی خطا دارند؛ خطای صفر معمولاً یعنی مدل جواب‌ها را حفظ کرده، نه یاد گرفته.

مثال‌های این جلسه

چالش‌ها

  1. The Error (آسان)
  2. One Update (آسان)
  3. One Epoch (متوسط)
  4. Train Until Perfect (متوسط)
  5. Error Chart (سخت)
  6. Train and Chart (سخت)

بیشتر بخوان

← جلسه‌ی 9: شبکه‌ی عصبی با دست جلسه‌ی 11: تشخیص عکس →