بتل کد Battle Codeدارد باز می‌شود…

جواب «Train the Three-Class Network» چالش 6 از جلسه‌ی 44

سؤال

حالا با لایه‌ی پنهان: شبکه‌ی ۲ → ۸ → ۳ با ReLU و softmax. داده، وزن‌ها و تابع predict آماده‌اند. حلقه‌ی ۳۰۰ دوره را با lr = 0.2 خودت بنویس (رو به جلو، dz2 = (p - Y) / len(X)، پس‌انتشار از ReLU، چهار به‌روزرسانی) و هر ۱۰۰ دوره دوره، خطا و دقت را گرد با ۳ رقم چاپ کن. بعد برنامه سه نقطه‌ی جدید را می‌پرسد. خروجی باید این شش خط باشد: 100 0.144 0.967، 200 0.053 1.0، 300 0.029 1.0، [1.0, 1.5] -> 0 0.99، [3.8, 0.8] -> 1 0.99 و [2.5, 2.2] -> 0 0.64. نقطه‌ی آخر را ببین: وسط گروه‌هاست، ولی شبکه مطمئن حرف می‌زند.

راهنما

همان کارت «یک قدم آموزش» این جلسه: h = np.maximum(0, X @ W1 + b1)، p = softmax(h @ W2 + b2)، dz2 = (p - Y) / len(X)، dh = dz2 @ W2.T * (h > 0)؛ dh را قبل از تغییر W2 حساب کن.

یک جواب درست

import random
import numpy as np

random.seed(4)
centers = [(1, 1), (4, 1), (2.5, 4)]
points, labels = [], []
for k in range(3):
    cx, cy = centers[k]
    for i in range(10):
        points.append([random.gauss(cx, 0.7), random.gauss(cy, 0.7)])
        labels.append(k)
X = np.array(points)
y = np.array(labels)
Y = np.eye(3)[y]


def softmax(z):
    e = np.exp(z - z.max(axis=1, keepdims=True))
    return e / e.sum(axis=1, keepdims=True)


def rand_matrix(rows, cols):
    return np.array([[random.uniform(-0.5, 0.5) for _ in range(cols)] for _ in range(rows)])


random.seed(0)
W1 = rand_matrix(2, 8)
b1 = np.zeros(8)
W2 = rand_matrix(8, 3)
b2 = np.zeros(3)
lr = 0.2
for epoch in range(1, 301):
    h = np.maximum(0, X @ W1 + b1)
    p = softmax(h @ W2 + b2)
    dz2 = (p - Y) / len(X)
    dh = dz2 @ W2.T * (h > 0)
    W2 -= lr * h.T @ dz2
    b2 -= lr * dz2.sum(axis=0)
    W1 -= lr * X.T @ dh
    b1 -= lr * dh.sum(axis=0)
    if epoch % 100 == 0:
        loss = -np.log(p[np.arange(len(y)), y]).mean()
        acc = (p.argmax(axis=1) == y).mean()
        print(epoch, round(float(loss), 3), round(float(acc), 3))


def predict(points):
    h = np.maximum(0, np.array(points) @ W1 + b1)
    return softmax(h @ W2 + b2)


new = [[1.0, 1.5], [3.8, 0.8], [2.5, 2.2]]
probs = predict(new)
for i in range(len(new)):
    print(new[i], "->", int(probs[i].argmax()), round(float(probs[i].max()), 2))

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن