بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 44: شبکه‌ی چندلایه با numpy ۲ A Multi-Layer Network with numpy 2

شبکه را برای چند دسته آماده می‌کنیم: softmax امتیازها را احتمال می‌کند، one-hot جواب درست را می‌نویسد، cross-entropy خطا را می‌سنجد و شیب زیبای p - y همه‌چیز را آموزش می‌دهد. در آخر یک شبکه‌ی سه‌دسته‌ای روی نقطه‌ها آموزش می‌دهیم.

در این جلسه یاد می‌گیری

درس

تا حالا شبکه یک خروجی داشت: بله یا نه. اما اگر سه دسته داشته باشیم چه؟ مثلاً سه گروه بچه‌ها در حیاط مدرسه: فوتبالی‌ها، شطرنجی‌ها، موسیقی‌ها. لایه‌ی آخر سه نورون می‌گیرد و هر کدام یک امتیاز می‌دهد، مثل [2.0, 1.0, 0.1]. این امتیازها می‌توانند منفی یا خیلی بزرگ باشند و جمعشان هم ۱ نیست. ما احتمال می‌خواهیم: «۶۶٪ فوتبالی».

softmax دو قدم دارد: ۱) از هر امتیاز np.exp بگیر تا همه مثبت شوند (و بزرگ‌ترها خیلی بزرگ‌تر). ۲) هر کدام را بر جمع همه تقسیم کن تا جمعشان ۱ شود، مثل تبدیل رأی‌های انتخابات کلاس به درصد. یک ترفند مهم: np.exp(1000) بی‌نهایت (inf) می‌شود و همه‌چیز خراب می‌شود. اگر اول بیشینه را از همه کم کنیم، جواب هیچ فرقی نمی‌کند (درصدها همان می‌مانند، مثل این‌که به همه ۵ نمره کمتر بدهی و رتبه‌ها عوض نشود) ولی دیگر عدد غول‌پیکر نداریم.

import numpy as np


def softmax(z):
    e = np.exp(z - z.max())
    return e / e.sum()


print(np.round(softmax(np.array([2.0, 1.0, 0.1])), 3))        # [0.659 0.242 0.099]
print(np.round(softmax(np.array([1000.0, 999.0, 998.0])), 3)) # [0.665 0.245 0.09 ]  no inf!

برای یک دسته (batch) مثال، هر سطر جداگانه softmax می‌گیرد. پس بیشینه و جمع را با axis=1 در هر سطر حساب می‌کنیم. keepdims=True کاری می‌کند که جواب به شکل ستون (n, 1) بماند تا broadcasting آن را درست از هر سطر کم کند. این نسخه را از این به بعد همیشه استفاده می‌کنیم.

def softmax(z):
    e = np.exp(z - z.max(axis=1, keepdims=True))
    return e / e.sum(axis=1, keepdims=True)


scores = np.array([[2.0, 1.0, 0.1], [0.0, 0.0, 3.0]])
print(np.round(softmax(scores), 3))
# [[0.659 0.242 0.099]
#  [0.045 0.045 0.909]]

جواب درست را هم به همان شکل احتمال می‌نویسیم: برای دسته‌ی ۲ می‌نویسیم [0, 0, 1]، یعنی «۱۰۰٪ دسته‌ی ۲». به این one-hot می‌گوییم (فقط یک خانه روشن است؛ در جلسه‌ی ۳۱ با حلقه ساختیمش). np.eye(3) یک جدول ۳×۳ با قطر ۱ است و np.eye(3)[y] برای هر برچسب سطر مربوطش را برمی‌دارد.

y = np.array([0, 2, 1])
print(np.eye(3)[y])
# [[1. 0. 0.]
#  [0. 0. 1.]
#  [0. 1. 0.]]

خطا چطور سنجیده شود؟ cross-entropy: فقط به احتمالی نگاه کن که شبکه به جواب درست داده و -log آن را بگیر. اگر به جواب درست ۰.۹ داده، خطا 0.105 (کم). اگر ۰.۵، خطا 0.693. اگر فقط ۰.۱، خطا 2.303 (خیلی زیاد). مثل میزان «غافلگیری»: هرچه به جواب درست احتمال کمتری داده باشی، بیشتر غافلگیر می‌شوی. p[np.arange(n), y] از هر سطر خانه‌ی جواب درست را برمی‌دارد.

p = np.array([[0.9, 0.05, 0.05], [0.2, 0.5, 0.3], [0.1, 0.3, 0.6]])
y = np.array([0, 1, 0])
right = p[np.arange(len(y)), y]
print(right)                              # [0.9 0.5 0.1]
print(np.round(-np.log(right), 3))        # [0.105 0.693 2.303]
print(round(float(-np.log(right).mean()), 3))   # 1.034

پیش‌بینی شبکه دسته‌ای است که بیشترین احتمال را دارد: p.argmax(axis=1). دقت = چند درصد پیش‌بینی‌ها با برچسب برابرند: (pred == y).mean(). این دو خط را در هر جلسه‌ی بعد هم می‌بینی.

pred = p.argmax(axis=1)
print(pred)                           # [0 1 2]
print(round(float((pred == y).mean()), 3))   # 0.667

و حالا قشنگ‌ترین بخش: وقتی softmax و cross-entropy با هم باشند، شیب خطا نسبت به امتیازها فقط p - Y است (Y همان one-hot). برای دسته‌ی درست p - 1 منفی است، پس امتیازش بالا می‌رود؛ برای بقیه p مثبت است، پس امتیازشان پایین می‌آید. بقیه همان پس‌انتشار جلسه‌ی ۴۲ است، فقط با شیب ReLU به جای سیگموید: dh = dz2 @ W2.T * (h > 0). تقسیم بر n میانگین می‌گیرد تا اندازه‌ی قدم به تعداد مثال‌ها بستگی نداشته باشد.

# one training step for a 2-layer ReLU + softmax network
h = np.maximum(0, X @ W1 + b1)
p = softmax(h @ W2 + b2)
dz2 = (p - np.eye(3)[y]) / len(X)
dh = dz2 @ W2.T * (h > 0)
W2 -= lr * h.T @ dz2
b2 -= lr * dz2.sum(axis=0)
W1 -= lr * X.T @ dh
b1 -= lr * dh.sum(axis=0)

همه با هم: ۳۰ نقطه در سه گروه (هر گروه ۱۰ نقطه دور یک مرکز، با random.gauss که عدد تصادفی «زنگوله‌ای» دور یک میانگین می‌دهد). شبکه‌ی ۲ → ۸ → ۳ با ReLU و softmax، ۳۰۰ دوره. خطا پایین می‌آید و دقت به ۱۰۰٪ می‌رسد. در آخر چند نقطه‌ی جدید را می‌پرسیم.

import random
import numpy as np

random.seed(4)
centers = [(1, 1), (4, 1), (2.5, 4)]
points, labels = [], []
for k in range(3):
    cx, cy = centers[k]
    for i in range(10):
        points.append([random.gauss(cx, 0.7), random.gauss(cy, 0.7)])
        labels.append(k)
X = np.array(points)
y = np.array(labels)


def softmax(z):
    e = np.exp(z - z.max(axis=1, keepdims=True))
    return e / e.sum(axis=1, keepdims=True)


def rand_matrix(rows, cols):
    return np.array([[random.uniform(-0.5, 0.5) for _ in range(cols)] for _ in range(rows)])


random.seed(0)
W1 = rand_matrix(2, 8)
b1 = np.zeros(8)
W2 = rand_matrix(8, 3)
b2 = np.zeros(3)
lr = 0.2
for epoch in range(1, 301):
    h = np.maximum(0, X @ W1 + b1)
    p = softmax(h @ W2 + b2)
    dz2 = (p - np.eye(3)[y]) / len(X)
    dh = dz2 @ W2.T * (h > 0)
    W2 -= lr * h.T @ dz2
    b2 -= lr * dz2.sum(axis=0)
    W1 -= lr * X.T @ dh
    b1 -= lr * dh.sum(axis=0)
    if epoch % 100 == 0:
        loss = -np.log(p[np.arange(len(y)), y]).mean()
        print(epoch, round(float(loss), 3), round(float((p.argmax(axis=1) == y).mean()), 3))
# 100 0.144 0.967
# 200 0.053 1.0
# 300 0.029 1.0

⚠️ نقطه‌ی [2.5, 2.2] را از شبکه‌ی امروز بپرس: درست وسط سه گروه است و جواب واقعی‌اش را هیچ‌کس نمی‌داند، اما شبکه با اطمینان ۶۴٪ می‌گوید «گروه ۰». و برای نقطه‌ای خیلی دور مثل [10, -5]، که شبیه هیچ‌کدام از ۳۰ نقطه نیست، با اطمینان نزدیک ۱۰۰٪ می‌گوید «گروه ۱»! softmax همیشه عددهایی می‌دهد که جمعشان ۱ است، حتی وقتی شبکه چیزی شبیه آن ورودی ندیده. «اطمینان بالا» یعنی شبکه بین این سه گزینه این یکی را خیلی ترجیح می‌دهد، نه این‌که جوابش درست است. هوش مصنوعی‌های بزرگ هم با لحن کاملاً مطمئن اشتباه می‌گویند (توهم، جلسه‌ی ۱۴)؛ اطمینان را با حقیقت یکی نگیر.

مثال‌های این جلسه

چالش‌ها

  1. Softmax (آسان)
  2. One-Hot with np.eye (آسان)
  3. Cross-Entropy Loss (متوسط)
  4. Confident but Wrong (متوسط)
  5. Softmax Without a Hidden Layer (سخت)
  6. Train the Three-Class Network (سخت)

بیشتر بخوان

← جلسه‌ی 43: شبکه‌ی چندلایه با numpy ۱ جلسه‌ی 45: داده‌ی بزرگ‌تر ۱ →