بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 25: رگرسیون با دو ویژگی Regression with Two Features

به جای یک وزن، دو وزن و یک بایاس داریم. با «کمی به سمت درست حرکت کن» (گرادیان کاهشی) وزن‌ها را خودِ کامپیوتر پیدا می‌کند.

در این جلسه یاد می‌گیری

درس

در فاز قبل یک خط ساختی: price = w * size + b. اما قیمت خانه فقط به اندازه بستگی ندارد؛ به تعداد اتاق هم بستگی دارد. پس دو ویژگی داریم و هر کدام یک وزن: price = w1 * size + w2 * rooms + b. وزن یعنی «این ویژگی چقدر مهم است»، و b (بایاس) نقطه‌ی شروع است.

def predict(size, rooms, w1, w2, b):
    return w1 * size + w2 * rooms + b

print(predict(100, 3, 2.0, 10.0, 5.0))   # 235.0

داده‌ی ما: اندازه (ده‌ها متر)، اتاق، قیمت (میلیون). با وزن‌های حدسی شروع می‌کنیم، مثلاً همه صفر. پیش‌بینی‌ها بد است. چقدر بد؟ برای هر خانه اختلاف پیش‌بینی و قیمت واقعی را به توان دو می‌رسانیم (تا منفی‌ها مثبت شوند و خطاهای بزرگ بیشتر دیده شوند) و میانگین می‌گیریم: میانگین مربع خطا (MSE).

X = [[5, 1], [8, 2], [10, 3], [12, 3]]
y = [60, 95, 125, 140]

def mse(X, y, w1, w2, b):
    total = 0
    for i in range(len(X)):
        guess = w1 * X[i][0] + w2 * X[i][1] + b
        total = total + (guess - y[i]) ** 2
    return total / len(X)

print(mse(X, y, 0, 0, 0))   # 11962.5  (terrible)

حالا ایده‌ی اصلی یادگیری: گرادیان کاهشی. تصور کن با چشم بسته روی یک تپه ایستاده‌ای و می‌خواهی به پایین‌ترین نقطه برسی. با پا زمین را حس می‌کنی: کدام طرف سرازیری است؟ یک قدم کوچک آن طرف برمی‌داری. دوباره. و دوباره. ارتفاع تپه همان خطاست و جای تو همان وزن‌ها.

«کدام طرف سرازیری است» را چطور حساب کنیم؟ برای هر خانه، error = guess - real. اگر خطا مثبت است (زیاد حدس زدی) باید وزن‌ها کم شوند، و هر وزن به اندازه‌ی ویژگی خودش: ویژگی بزرگ‌تر اثر بیشتری داشته، پس بیشتر تصحیح می‌شود. این همان «گرادیان» است: error * x1 برای w1، error * x2 برای w2، و فقط error برای b.

def gradients(X, y, w1, w2, b):
    g1 = g2 = gb = 0
    for i in range(len(X)):
        error = (w1 * X[i][0] + w2 * X[i][1] + b) - y[i]
        g1 = g1 + error * X[i][0]
        g2 = g2 + error * X[i][1]
        gb = gb + error
    n = len(X)
    return g1 / n, g2 / n, gb / n

یک قدم یادگیری: گرادیان را حساب کن و هر وزن را کمی در جهت مخالفش حرکت بده. «کمی» یعنی ضرب در یک عدد کوچک به اسم نرخ یادگیری (lr)، مثلاً ۰.۰۰۱. قدم را صد بار تکرار کن و ببین خطا هر بار کمتر می‌شود. جلسه‌ی بعد دقیق‌تر درباره‌ی این عدد کوچک حرف می‌زنیم.

w1 = w2 = b = 0.0
lr = 0.001
for step in range(100):
    g1, g2, gb = gradients(X, y, w1, w2, b)
    w1 = w1 - lr * g1
    w2 = w2 - lr * g2
    b = b - lr * gb
    if step % 25 == 0:
        print(step, round(mse(X, y, w1, w2, b), 1))
print(round(w1, 2), round(w2, 2), round(b, 2))

همین است! هر شبکه‌ی عصبی بزرگ هم دقیقاً همین کار را می‌کند، فقط به جای ۳ وزن میلیاردها وزن دارد و به جای ۴ خانه میلیون‌ها مثال. ایده‌ی «خطا را حساب کن، کمی به سمت درست حرکت کن، تکرار کن» قلب یادگیری عمیق است.

اشتباه رایج: علامت را اشتباه گرفتن و وزن را به سمت گرادیان بردن (w1 + lr * g1)؛ آن‌وقت خطا به جای کم شدن منفجر می‌شود. همیشه منها. اشتباه دوم: فراموش کردن تقسیم بر n که گرادیان را به تعداد مثال‌ها وابسته می‌کند.

مثال‌های این جلسه

چالش‌ها

  1. Two Weights (آسان)
  2. Mean Squared Error (آسان)
  3. The Gradients (متوسط)
  4. One Step Downhill (متوسط)
  5. Train for 200 Steps (سخت)
  6. Any Number of Weights (سخت)

بیشتر بخوان

← جلسه‌ی 24: پروژه: تشخیص هرز جلسه‌ی 26: نرخ یادگیری →