Ten Pictures Only چالش 4 از جلسهی 48، متوسط
یک شبکهی بزرگ (۶۴ نورون پنهان) روی فقط ۱۰ تصویر، ۲۰۰ دوره آموزش میبیند. تابع accuracy(net, Xs, ys) را کامل کن: اجرای رو به جلو (ReLU و بعد softmax)، حدس با argmax و درصد درستها گرد شده به عدد صحیح. خروجی باید 10 pictures: train 100% test 67% gap 33 باشد.
import random
import numpy as np
SHAPES = '''
.###. ..#.. .###. ####. #..#. ##### .###. ##### .###. .###.
#...# .##.. #...# ....# #..#. #.... #.... ....# #...# #...#
#...# ..#.. ..##. .###. ##### ####. ####. ...#. .###. .####
#...# ..#.. .#... ....# ...#. ....# #...# ..#.. #...# ....#
.###. .###. ##### ####. ...#. ####. .###. ..#.. .###. .###.
'''
def make_digits(copies, noise, seed):
random.seed(seed)
rows = SHAPES.strip().splitlines()
X, y = [], []
for c in range(copies):
for d in range(10):
pixels = [1.0 if ch == "#" else 0.0 for ch in "".join(r.split()[d] for r in rows)]
for i in random.sample(range(25), noise):
pixels[i] = 1.0 - pixels[i]
X.append(pixels)
y.append(d)
return np.array(X), np.array(y)
X, y = make_digits(20, 2, 1) # 200 training digits
Xt, yt = make_digits(10, 2, 2) # 100 new test digits
def softmax(z):
e = np.exp(z - z.max(axis=1, keepdims=True))
return e / e.sum(axis=1, keepdims=True)
def rand_matrix(rows, cols):
return np.array([[random.uniform(-0.5, 0.5) for c in range(cols)] for r in range(rows)])
def train_net(Xs, ys, hidden, epochs, lr=0.5):
random.seed(0)
net = {"W1": rand_matrix(25, hidden), "b1": np.zeros(hidden),
"W2": rand_matrix(hidden, 10), "b2": np.zeros(10)}
Y = np.eye(10)[ys]
for epoch in range(epochs): # few pictures: one batch = all of them
h = np.maximum(0, Xs @ net["W1"] + net["b1"])
p = softmax(h @ net["W2"] + net["b2"])
dz2 = (p - Y) / len(Xs)
dh = dz2 @ net["W2"].T * (h > 0)
net["W2"] -= lr * (h.T @ dz2)
net["b2"] -= lr * dz2.sum(axis=0)
net["W1"] -= lr * (Xs.T @ dh)
net["b1"] -= lr * dh.sum(axis=0)
return net
def accuracy(net, Xs, ys):
# run the network forward (ReLU, then softmax)
# return the percent of right guesses, rounded to a whole number
Xs, ys = make_digits(1, 2, 3) # only 10 pictures: one of each digit
net = train_net(Xs, ys, 64, 200) # a big network, many epochs
train = accuracy(net, Xs, ys)
test = accuracy(net, Xt, yt)
print(f"{len(Xs)} pictures: train {train}% test {test}% gap {train - test}")
راهنما و جواب این چالش · برگشت به درس جلسهی 48: بیشبرازش و تعمیم ۱ · چالش بعدی: More Data, Smaller Gap
بیشتر بخوان: list comprehension در پایتون: از حلقه for تا یک خط کد