بتل کد Battle Codeدارد باز می‌شود…

One Backprop Step چالش 5 از جلسه‌ی 30، سخت

تابع train_example را کامل کن: بعد از حساب کردن h، out، d_out و d_h (آماده)، وزن‌های خروجی را با lr * d_out * h[j] و بایاس خروجی را با lr * d_out کم کن؛ بعد برای هر نورون پنهان j، هر وزن i را با lr * d_h[j] * inputs[i] و بایاس را با lr * d_h[j] کم کن. برنامه یک قدم روی ([1, 0], 1) با وزن‌های ثابت می‌زند و خطا را قبل و بعد چاپ می‌کند (گرد با ۴ رقم): before 0.25 و after 0.1645. خطا باید کم شده باشد.

import math


def sigmoid(x):
    return 1 / (1 + math.exp(-x))


def slope(out):
    return out * (1 - out)


def neuron(inputs, weights, b):
    total = b
    for i in range(len(inputs)):
        total = total + inputs[i] * weights[i]
    return sigmoid(total)


def forward(inputs, hidden, output):
    h = [neuron(inputs, w, b) for w, b in hidden]
    w, b = output
    return neuron(h, w, b)


def train_example(inputs, target, hidden, output, lr):
    h = [neuron(inputs, w, b) for w, b in hidden]
    w_out, b_out = output
    out = neuron(h, w_out, b_out)
    d_out = (out - target) * slope(out)
    d_h = [d_out * w_out[j] * slope(h[j]) for j in range(len(h))]
    # update output weights and bias
    # update hidden weights and biases
    return hidden, (w_out, b_out)


hidden = [([0.5, -0.5], 0.0), ([-0.5, 0.5], 0.0)]
output = ([0.0, 0.0], 0.0)
inputs, target = [1, 0], 1
print("before", round((forward(inputs, hidden, output) - target) ** 2, 4))
hidden, output = train_example(inputs, target, hidden, output, 2.0)
print("after", round((forward(inputs, hidden, output) - target) ** 2, 4))

راهنما و جواب این چالش · برگشت به درس جلسه‌ی 30: شبکه‌ی XOR با دست · چالش بعدی: Train XOR

بیشتر بخوان: list comprehension در پایتون: از حلقه for تا یک خط کد