بتل کد Battle Codeدارد باز می‌شود…

جواب «Three Learning Rates» چالش 4 از جلسه‌ی 46

سؤال

تابع final_numbers(lr) شبکه‌ی تازه می‌سازد و باید ۱۰ دوره با نرخ lr آموزش دهد (بُر زدن اول هر دوره و دسته‌های ۲۰تایی). حلقه‌ی داخل آن را کامل کن. برنامه سه نرخ را مقایسه می‌کند؛ خروجی باید این سه خط باشد: lr 0.01 loss 2.144 train 23%، lr 0.5 loss 0.061 train 99% و lr 5.0 loss 2.32 train 10%.

راهنما

for start in range(0, len(X), 20): و داخلش train_batch(net, Xs[start:start + 20], ys[start:start + 20], lr). از lr استفاده کن، نه عدد ثابت 0.5.

یک جواب درست

import random
import numpy as np

SHAPES = """
.###. ..#.. .###. ####. #..#. ##### .###. ##### .###. .###.
#...# .##.. #...# ....# #..#. #.... #.... ....# #...# #...#
#...# ..#.. ..##. .###. ##### ####. ####. ...#. .###. .####
#...# ..#.. .#... ....# ...#. ....# #...# ..#.. #...# ....#
.###. .###. ##### ####. ...#. ####. .###. ..#.. .###. .###.
"""


def make_digits(copies, noise, seed):
    random.seed(seed)
    rows = SHAPES.strip().splitlines()
    X, y = [], []
    for c in range(copies):
        for d in range(10):
            pixels = [1.0 if ch == "#" else 0.0 for ch in "".join(r.split()[d] for r in rows)]
            for i in random.sample(range(25), noise):
                pixels[i] = 1.0 - pixels[i]
            X.append(pixels)
            y.append(d)
    return np.array(X), np.array(y)


X, y = make_digits(20, 2, 1)     # training set: 200 digits, 2 flipped pixels each
Xt, yt = make_digits(10, 2, 2)   # test set: 100 other noisy digits


def softmax(z):
    e = np.exp(z - z.max(axis=1, keepdims=True))
    return e / e.sum(axis=1, keepdims=True)


def rand_matrix(rows, cols):
    return np.array([[random.uniform(-0.5, 0.5) for _ in range(cols)] for _ in range(rows)])


def make_net():
    random.seed(0)
    return {"W1": rand_matrix(25, 16), "b1": np.zeros(16), "W2": rand_matrix(16, 10), "b2": np.zeros(10)}


def forward(net, X):
    h = np.maximum(0, X @ net["W1"] + net["b1"])
    return h, softmax(h @ net["W2"] + net["b2"])


def train_batch(net, xb, yb, lr):
    h, p = forward(net, xb)
    dz2 = (p - np.eye(10)[yb]) / len(xb)
    dh = dz2 @ net["W2"].T * (h > 0)
    net["W2"] -= lr * h.T @ dz2
    net["b2"] -= lr * dz2.sum(axis=0)
    net["W1"] -= lr * xb.T @ dh
    net["b1"] -= lr * dh.sum(axis=0)
    return float(-np.log(p[np.arange(len(yb)), yb]).mean())


def loss_acc(net, X, y):
    h, p = forward(net, X)
    loss = -np.log(p[np.arange(len(y)), y]).mean()
    return float(loss), float((p.argmax(axis=1) == y).mean())


def final_numbers(lr):
    net = make_net()
    order = list(range(len(X)))
    for epoch in range(10):
        random.shuffle(order)
        Xs, ys = X[order], y[order]
        for start in range(0, len(X), 20):
            train_batch(net, Xs[start:start + 20], ys[start:start + 20], lr)
    return loss_acc(net, X, y)


for lr in [0.01, 0.5, 5.0]:
    loss, acc = final_numbers(lr)
    print("lr", lr, "loss", round(loss, 3), "train", str(round(acc * 100)) + "%")

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن