One Backprop Step چالش 5 از جلسهی 42، سخت
وزنها در دیکشنری net هستند تا تابع بتواند عوضشان کند. تابع train_step(net, X, y, lr) را بنویس: رو به جلو (h و out)، دلتای خروجی d2، دلتای پنهان d1 (با W2 قبل از تغییر)، و بعد چهار بهروزرسانی با -=. تابع خطای میانگین مربع ((out - y) ** 2).mean() را برگرداند. حلقهی ۳۰۰۰ دوره آماده است و هر ۱۰۰۰ دوره خطا را چاپ میکند. خروجی باید این چهار خط باشد: 1000 0.0093، 2000 0.0012، 3000 0.0006 و [0.03 0.97 0.98 0.02].
import random
import numpy as np
def sigmoid(z):
return 1 / (1 + np.exp(-z))
def rand_matrix(rows, cols):
return np.array([[random.uniform(-1, 1) for _ in range(cols)] for _ in range(rows)])
random.seed(0)
net = {"W1": rand_matrix(2, 2), "b1": np.zeros(2), "W2": rand_matrix(2, 1), "b2": np.zeros(1)}
X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]])
y = np.array([[0], [1], [1], [0]])
def train_step(net, X, y, lr):
# forward, d2, d1, then update net["W2"], net["b2"], net["W1"], net["b1"]
return 0
for epoch in range(1, 3001):
error = train_step(net, X, y, 1.0)
if epoch % 1000 == 0:
print(epoch, round(float(error), 4))
out = sigmoid(sigmoid(X @ net["W1"] + net["b1"]) @ net["W2"] + net["b2"])
print(np.round(out[:, 0], 2))
راهنما و جواب این چالش · برگشت به درس جلسهی 42: numpy: ماتریس به جای حلقه ۲ · چالش بعدی: Three-Input Parity
بیشتر بخوان: list comprehension در پایتون: از حلقه for تا یک خط کد