بتل کد Battle Codeدارد باز می‌شود…

جواب «Softmax Without a Hidden Layer» چالش 5 از جلسه‌ی 44

سؤال

ساده‌ترین شبکه‌ی چنددسته‌ای: بدون لایه‌ی پنهان، فقط p = softmax(X @ W + b). داده‌ی سه گروه و وزن‌های اولیه آماده‌اند. حلقه‌ی ۲۰۰ دوره را خودت بنویس (lr = 0.5): در هر دوره p را حساب کن، dz = (p - Y) / len(X)، و W و b را به‌روز کن. هر ۵۰ دوره شماره‌ی دوره، خطای cross-entropy (همان p قبل از به‌روزرسانی) و دقت را گرد با ۳ رقم چاپ کن. خروجی باید این چهار خط باشد: 50 0.196 0.933، 100 0.123 0.967، 150 0.093 0.967 و 200 0.077 1.0.

راهنما

داخل for epoch in range(1, 201): بنویس p = softmax(X @ W + b)، dz = (p - Y) / len(X)، W -= 0.5 * X.T @ dz و b -= 0.5 * dz.sum(axis=0). با if epoch % 50 == 0: چاپ کن.

یک جواب درست

import random
import numpy as np

random.seed(4)
centers = [(1, 1), (4, 1), (2.5, 4)]
points, labels = [], []
for k in range(3):
    cx, cy = centers[k]
    for i in range(10):
        points.append([random.gauss(cx, 0.7), random.gauss(cy, 0.7)])
        labels.append(k)
X = np.array(points)
y = np.array(labels)
Y = np.eye(3)[y]


def softmax(z):
    e = np.exp(z - z.max(axis=1, keepdims=True))
    return e / e.sum(axis=1, keepdims=True)


def rand_matrix(rows, cols):
    return np.array([[random.uniform(-0.5, 0.5) for _ in range(cols)] for _ in range(rows)])


random.seed(0)
W = rand_matrix(2, 3)
b = np.zeros(3)
for epoch in range(1, 201):
    p = softmax(X @ W + b)
    dz = (p - Y) / len(X)
    W -= 0.5 * X.T @ dz
    b -= 0.5 * dz.sum(axis=0)
    if epoch % 50 == 0:
        loss = -np.log(p[np.arange(len(y)), y]).mean()
        acc = (p.argmax(axis=1) == y).mean()
        print(epoch, round(float(loss), 3), round(float(acc), 3))

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن