جواب «One Backprop Step» چالش 5 از جلسهی 42
سؤال
وزنها در دیکشنری net هستند تا تابع بتواند عوضشان کند. تابع train_step(net, X, y, lr) را بنویس: رو به جلو (h و out)، دلتای خروجی d2، دلتای پنهان d1 (با W2 قبل از تغییر)، و بعد چهار بهروزرسانی با -=. تابع خطای میانگین مربع ((out - y) ** 2).mean() را برگرداند. حلقهی ۳۰۰۰ دوره آماده است و هر ۱۰۰۰ دوره خطا را چاپ میکند. خروجی باید این چهار خط باشد: 1000 0.0093، 2000 0.0012، 3000 0.0006 و [0.03 0.97 0.98 0.02].
راهنما
d2 = (out - y) * out * (1 - out) و d1 = (d2 @ net["W2"].T) * h * (1 - h)؛ بعد مثلاً net["W2"] -= lr * h.T @ d2 و net["b2"] -= lr * d2.sum(axis=0). خطا را از out همین قدم حساب کن.
یک جواب درست
import random
import numpy as np
def sigmoid(z):
return 1 / (1 + np.exp(-z))
def rand_matrix(rows, cols):
return np.array([[random.uniform(-1, 1) for _ in range(cols)] for _ in range(rows)])
random.seed(0)
net = {"W1": rand_matrix(2, 2), "b1": np.zeros(2), "W2": rand_matrix(2, 1), "b2": np.zeros(1)}
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])
def train_step(net, X, y, lr):
h = sigmoid(X @ net["W1"] + net["b1"])
out = sigmoid(h @ net["W2"] + net["b2"])
d2 = (out - y) * out * (1 - out)
d1 = (d2 @ net["W2"].T) * h * (1 - h)
net["W2"] -= lr * h.T @ d2
net["b2"] -= lr * d2.sum(axis=0)
net["W1"] -= lr * X.T @ d1
net["b1"] -= lr * d1.sum(axis=0)
return ((out - y) ** 2).mean()
for epoch in range(1, 3001):
error = train_step(net, X, y, 1.0)
if epoch % 1000 == 0:
print(epoch, round(float(error), 4))
out = sigmoid(sigmoid(X @ net["W1"] + net["b1"]) @ net["W2"] + net["b2"])
print(np.round(out[:, 0], 2))
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن