جواب «Test Digits It Gets Wrong» چالش 6 از جلسهی 45
سؤال
آموزش آماده است. حالا ببین شبکه روی ۱۰۰ رقم آزمون (Xt, yt) که هیچوقت ندیده چه میکند. تابع mistakes(net, X, y) را بنویس که با forward و argmax پیشبینی کند و لیستی از جفتهای (true, predicted) (عدد صحیح معمولی با int) برای نمونههای غلط برگرداند. برنامه دقت آزمون را به درصد و بعد لیست را چاپ میکند. خروجی دو خط است: test 96 و [(9, 8), (6, 8), (9, 6), (9, 8)].
راهنما
h, p = forward(net, X) و pred = p.argmax(axis=1). بعد روی range(len(y)) بچرخ و اگر pred[i] != y[i] بود، (int(y[i]), int(pred[i])) را اضافه کن.
یک جواب درست
import random
import numpy as np
SHAPES = """
.###. ..#.. .###. ####. #..#. ##### .###. ##### .###. .###.
#...# .##.. #...# ....# #..#. #.... #.... ....# #...# #...#
#...# ..#.. ..##. .###. ##### ####. ####. ...#. .###. .####
#...# ..#.. .#... ....# ...#. ....# #...# ..#.. #...# ....#
.###. .###. ##### ####. ...#. ####. .###. ..#.. .###. .###.
"""
def make_digits(copies, noise, seed):
random.seed(seed)
rows = SHAPES.strip().splitlines()
X, y = [], []
for c in range(copies):
for d in range(10):
pixels = [1.0 if ch == "#" else 0.0 for ch in "".join(r.split()[d] for r in rows)]
for i in random.sample(range(25), noise):
pixels[i] = 1.0 - pixels[i]
X.append(pixels)
y.append(d)
return np.array(X), np.array(y)
X, y = make_digits(20, 2, 1) # training set: 200 digits, 2 flipped pixels each
Xt, yt = make_digits(10, 2, 2) # test set: 100 other noisy digits
def softmax(z):
e = np.exp(z - z.max(axis=1, keepdims=True))
return e / e.sum(axis=1, keepdims=True)
def rand_matrix(rows, cols):
return np.array([[random.uniform(-0.5, 0.5) for _ in range(cols)] for _ in range(rows)])
def make_net():
random.seed(0)
return {"W1": rand_matrix(25, 16), "b1": np.zeros(16), "W2": rand_matrix(16, 10), "b2": np.zeros(10)}
def forward(net, X):
h = np.maximum(0, X @ net["W1"] + net["b1"])
return h, softmax(h @ net["W2"] + net["b2"])
def train_batch(net, xb, yb, lr):
h, p = forward(net, xb)
dz2 = (p - np.eye(10)[yb]) / len(xb)
dh = dz2 @ net["W2"].T * (h > 0)
net["W2"] -= lr * h.T @ dz2
net["b2"] -= lr * dz2.sum(axis=0)
net["W1"] -= lr * xb.T @ dh
net["b1"] -= lr * dh.sum(axis=0)
return float(-np.log(p[np.arange(len(yb)), yb]).mean())
def loss_acc(net, X, y):
h, p = forward(net, X)
loss = -np.log(p[np.arange(len(y)), y]).mean()
return float(loss), float((p.argmax(axis=1) == y).mean())
net = make_net()
order = list(range(len(X)))
for epoch in range(1, 11):
random.shuffle(order)
Xs, ys = X[order], y[order]
for start in range(0, len(X), 20):
train_batch(net, Xs[start:start + 20], ys[start:start + 20], 0.5)
def mistakes(net, X, y):
wrong = []
h, p = forward(net, X)
pred = p.argmax(axis=1)
for i in range(len(y)):
if pred[i] != y[i]:
wrong.append((int(y[i]), int(pred[i])))
return wrong
loss, acc = loss_acc(net, Xt, yt)
print("test", round(acc * 100))
print(mistakes(net, Xt, yt))
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن