بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 7: خط را پیدا کن Find the Line

رگرسیون خطی ساده: یک خط y = a*x + b که از بین نقطه‌ها رد می‌شود، و قدم به قدم خطا را کم می‌کنی تا بهترین خط پیدا شود.

در این جلسه یاد می‌گیری

درس

تا حالا جواب‌ها اسم بودند (سیب / لیمو). حالا جواب یک عدد است: با ۳ ساعت درس خواندن چه نمره‌ای می‌گیری؟ به این رگرسیون می‌گویند. ساده‌ترین مدل، یک خط است: y = a*x + b.

# (hours, grade)
data = [(1, 10), (2, 12), (3, 14), (4, 16), (5, 18)]

def predict(a, b, x):
    return a * x + b

print(predict(2, 8, 3))

a شیب است: هر ساعت درس چند نمره اضافه می‌کند. b نقطه‌ی شروع است: نمره با صفر ساعت درس. خط خوب، از نزدیک همه‌ی نقطه‌ها رد می‌شود.

خطا یعنی خط چقدر از نقطه‌ها دور است. برای هر نقطه، تفاوت پیش‌بینی و واقعیت را به توان ۲ می‌رسانیم (تا منفی و مثبت خنثی نشوند) و جمع می‌زنیم. خطای کمتر = خط بهتر.

def error(a, b, data):
    total = 0
    for x, y in data:
        diff = predict(a, b, x) - y
        total += diff ** 2
    return total

print(error(2, 8, data))   # perfect line
print(error(1, 8, data))   # worse

یادگیری = پیدا کردن a و b با کمترین خطا. روش ساده: چند مقدار برای a و b امتحان کن و بهترین را نگه دار. کامپیوتر از امتحان کردن خسته نمی‌شود!

best = None
best_err = 10 ** 9
for a in range(0, 5):
    for b in range(0, 15):
        e = error(a, b, data)
        if e < best_err:
            best_err = e
            best = (a, b)
print("best line:", best, "error:", best_err)

روش هوشمندتر که مدل‌های بزرگ استفاده می‌کنند: از یک خط حدسی شروع کن، ببین با کمی زیاد یا کم کردن a خطا کم می‌شود یا نه، و قدم به قدم جلو برو. این گرادیان کاهشی (gradient descent) است؛ در جلسه‌ی ۱۰ با شبکه‌ی عصبی همین کار را می‌کنیم.

a, b = 0, 8
step = 0.5
for i in range(10):
    if error(a + step, b, data) < error(a, b, data):
        a += step
    elif error(a - step, b, data) < error(a, b, data):
        a -= step
print("a is now", a)

⚠️ پیش‌بینی خارج از داده خطرناک است: خط ما می‌گوید با ۲۰ ساعت درس نمره ۴۸ می‌گیری! ولی نمره از ۲۰ بیشتر نمی‌شود. مدل فقط در محدوده‌ی داده‌ای که دیده قابل‌اعتماد است. همیشه بپرس: مدل این را از کجا می‌داند؟

مثال‌های این جلسه

چالش‌ها

  1. The Line (آسان)
  2. One Point's Error (آسان)
  3. Total Error (متوسط)
  4. Try Every Slope (متوسط)
  5. Search a and b (سخت)
  6. Step by Step (سخت)

بیشتر بخوان

← جلسه‌ی 6: نزدیک‌ترین همسایه جلسه‌ی 8: پروژه: پیش‌بینی نمره →