بتل کد Battle Codeدارد باز می‌شود…

جواب «One Backprop Step» چالش 5 از جلسه‌ی 42

سؤال

وزن‌ها در دیکشنری net هستند تا تابع بتواند عوضشان کند. تابع train_step(net, X, y, lr) را بنویس: رو به جلو (h و out)، دلتای خروجی d2، دلتای پنهان d1 (با W2 قبل از تغییر)، و بعد چهار به‌روزرسانی با -=. تابع خطای میانگین مربع ((out - y) ** 2).mean() را برگرداند. حلقه‌ی ۳۰۰۰ دوره آماده است و هر ۱۰۰۰ دوره خطا را چاپ می‌کند. خروجی باید این چهار خط باشد: 1000 0.0093، 2000 0.0012، 3000 0.0006 و [0.03 0.97 0.98 0.02].

راهنما

d2 = (out - y) * out * (1 - out) و d1 = (d2 @ net["W2"].T) * h * (1 - h)؛ بعد مثلاً net["W2"] -= lr * h.T @ d2 و net["b2"] -= lr * d2.sum(axis=0). خطا را از out همین قدم حساب کن.

یک جواب درست

import random
import numpy as np


def sigmoid(z):
    return 1 / (1 + np.exp(-z))


def rand_matrix(rows, cols):
    return np.array([[random.uniform(-1, 1) for _ in range(cols)] for _ in range(rows)])


random.seed(0)
net = {"W1": rand_matrix(2, 2), "b1": np.zeros(2), "W2": rand_matrix(2, 1), "b2": np.zeros(1)}
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])


def train_step(net, X, y, lr):
    h = sigmoid(X @ net["W1"] + net["b1"])
    out = sigmoid(h @ net["W2"] + net["b2"])
    d2 = (out - y) * out * (1 - out)
    d1 = (d2 @ net["W2"].T) * h * (1 - h)
    net["W2"] -= lr * h.T @ d2
    net["b2"] -= lr * d2.sum(axis=0)
    net["W1"] -= lr * X.T @ d1
    net["b1"] -= lr * d1.sum(axis=0)
    return ((out - y) ** 2).mean()


for epoch in range(1, 3001):
    error = train_step(net, X, y, 1.0)
    if epoch % 1000 == 0:
        print(epoch, round(float(error), 4))
out = sigmoid(sigmoid(X @ net["W1"] + net["b1"]) @ net["W2"] + net["b2"])
print(np.round(out[:, 0], 2))

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن