جواب «One Backprop Step» چالش 5 از جلسهی 30
سؤال
تابع train_example را کامل کن: بعد از حساب کردن h، out، d_out و d_h (آماده)، وزنهای خروجی را با lr * d_out * h[j] و بایاس خروجی را با lr * d_out کم کن؛ بعد برای هر نورون پنهان j، هر وزن i را با lr * d_h[j] * inputs[i] و بایاس را با lr * d_h[j] کم کن. برنامه یک قدم روی ([1, 0], 1) با وزنهای ثابت میزند و خطا را قبل و بعد چاپ میکند (گرد با ۴ رقم): before 0.25 و after 0.1645. خطا باید کم شده باشد.
راهنما
for j in range(len(h)): w_out[j] -= lr * d_out * h[j]؛ b_out -= lr * d_out؛ بعد for j in range(len(hidden)): w, b = hidden[j]; for i in range(len(inputs)): w[i] -= lr * d_h[j] * inputs[i]; hidden[j] = (w, b - lr * d_h[j]).
یک جواب درست
import math
def sigmoid(x):
return 1 / (1 + math.exp(-x))
def slope(out):
return out * (1 - out)
def neuron(inputs, weights, b):
total = b
for i in range(len(inputs)):
total = total + inputs[i] * weights[i]
return sigmoid(total)
def forward(inputs, hidden, output):
h = [neuron(inputs, w, b) for w, b in hidden]
w, b = output
return neuron(h, w, b)
def train_example(inputs, target, hidden, output, lr):
h = [neuron(inputs, w, b) for w, b in hidden]
w_out, b_out = output
out = neuron(h, w_out, b_out)
d_out = (out - target) * slope(out)
d_h = [d_out * w_out[j] * slope(h[j]) for j in range(len(h))]
for j in range(len(h)):
w_out[j] -= lr * d_out * h[j]
b_out -= lr * d_out
for j in range(len(hidden)):
w, b = hidden[j]
for i in range(len(inputs)):
w[i] -= lr * d_h[j] * inputs[i]
hidden[j] = (w, b - lr * d_h[j])
return hidden, (w_out, b_out)
hidden = [([0.5, -0.5], 0.0), ([-0.5, 0.5], 0.0)]
output = ([0.0, 0.0], 0.0)
inputs, target = [1, 0], 1
print("before", round((forward(inputs, hidden, output) - target) ** 2, 4))
hidden, output = train_example(inputs, target, hidden, output, 2.0)
print("after", round((forward(inputs, hidden, output) - target) ** 2, 4))
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن