One Backprop Step چالش 5 از جلسهی 30، سخت
تابع train_example را کامل کن: بعد از حساب کردن h، out، d_out و d_h (آماده)، وزنهای خروجی را با lr * d_out * h[j] و بایاس خروجی را با lr * d_out کم کن؛ بعد برای هر نورون پنهان j، هر وزن i را با lr * d_h[j] * inputs[i] و بایاس را با lr * d_h[j] کم کن. برنامه یک قدم روی ([1, 0], 1) با وزنهای ثابت میزند و خطا را قبل و بعد چاپ میکند (گرد با ۴ رقم): before 0.25 و after 0.1645. خطا باید کم شده باشد.
import math
def sigmoid(x):
return 1 / (1 + math.exp(-x))
def slope(out):
return out * (1 - out)
def neuron(inputs, weights, b):
total = b
for i in range(len(inputs)):
total = total + inputs[i] * weights[i]
return sigmoid(total)
def forward(inputs, hidden, output):
h = [neuron(inputs, w, b) for w, b in hidden]
w, b = output
return neuron(h, w, b)
def train_example(inputs, target, hidden, output, lr):
h = [neuron(inputs, w, b) for w, b in hidden]
w_out, b_out = output
out = neuron(h, w_out, b_out)
d_out = (out - target) * slope(out)
d_h = [d_out * w_out[j] * slope(h[j]) for j in range(len(h))]
# update output weights and bias
# update hidden weights and biases
return hidden, (w_out, b_out)
hidden = [([0.5, -0.5], 0.0), ([-0.5, 0.5], 0.0)]
output = ([0.0, 0.0], 0.0)
inputs, target = [1, 0], 1
print("before", round((forward(inputs, hidden, output) - target) ** 2, 4))
hidden, output = train_example(inputs, target, hidden, output, 2.0)
print("after", round((forward(inputs, hidden, output) - target) ** 2, 4))
راهنما و جواب این چالش · برگشت به درس جلسهی 30: شبکهی XOR با دست · چالش بعدی: Train XOR
بیشتر بخوان: list comprehension در پایتون: از حلقه for تا یک خط کد