Softmax Without a Hidden Layer چالش 5 از جلسهی 44، سخت
سادهترین شبکهی چنددستهای: بدون لایهی پنهان، فقط p = softmax(X @ W + b). دادهی سه گروه و وزنهای اولیه آمادهاند. حلقهی ۲۰۰ دوره را خودت بنویس (lr = 0.5): در هر دوره p را حساب کن، dz = (p - Y) / len(X)، و W و b را بهروز کن. هر ۵۰ دوره شمارهی دوره، خطای cross-entropy (همان p قبل از بهروزرسانی) و دقت را گرد با ۳ رقم چاپ کن. خروجی باید این چهار خط باشد: 50 0.196 0.933، 100 0.123 0.967، 150 0.093 0.967 و 200 0.077 1.0.
import random
import numpy as np
random.seed(4)
centers = [(1, 1), (4, 1), (2.5, 4)]
points, labels = [], []
for k in range(3):
cx, cy = centers[k]
for i in range(10):
points.append([random.gauss(cx, 0.7), random.gauss(cy, 0.7)])
labels.append(k)
X = np.array(points)
y = np.array(labels)
Y = np.eye(3)[y]
def softmax(z):
e = np.exp(z - z.max(axis=1, keepdims=True))
return e / e.sum(axis=1, keepdims=True)
def rand_matrix(rows, cols):
return np.array([[random.uniform(-0.5, 0.5) for _ in range(cols)] for _ in range(rows)])
random.seed(0)
W = rand_matrix(2, 3)
b = np.zeros(3)
# train 200 epochs, print every 50
راهنما و جواب این چالش · برگشت به درس جلسهی 44: شبکهی چندلایه با numpy ۲ · چالش بعدی: Train the Three-Class Network
بیشتر بخوان: list comprehension در پایتون: از حلقه for تا یک خط کد