جلسهی 44: شبکهی چندلایه با numpy ۲ A Multi-Layer Network with numpy 2
شبکه را برای چند دسته آماده میکنیم: softmax امتیازها را احتمال میکند، one-hot جواب درست را مینویسد، cross-entropy خطا را میسنجد و شیب زیبای p - y همهچیز را آموزش میدهد. در آخر یک شبکهی سهدستهای روی نقطهها آموزش میدهیم.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم softmax را پایدار (با کم کردن بیشینه) بنویسم.
- در پایان این جلسه میتوانم برچسبها را با
np.eyeبه one-hot تبدیل کنم. - در پایان این جلسه میتوانم خطای cross-entropy و دقت را حساب کنم.
- در پایان این جلسه میتوانم یک شبکهی ReLU + softmax را برای سه دسته آموزش دهم.
درس
تا حالا شبکه یک خروجی داشت: بله یا نه. اما اگر سه دسته داشته باشیم چه؟ مثلاً سه گروه بچهها در حیاط مدرسه: فوتبالیها، شطرنجیها، موسیقیها. لایهی آخر سه نورون میگیرد و هر کدام یک امتیاز میدهد، مثل [2.0, 1.0, 0.1]. این امتیازها میتوانند منفی یا خیلی بزرگ باشند و جمعشان هم ۱ نیست. ما احتمال میخواهیم: «۶۶٪ فوتبالی».
softmax دو قدم دارد: ۱) از هر امتیاز np.exp بگیر تا همه مثبت شوند (و بزرگترها خیلی بزرگتر). ۲) هر کدام را بر جمع همه تقسیم کن تا جمعشان ۱ شود، مثل تبدیل رأیهای انتخابات کلاس به درصد. یک ترفند مهم: np.exp(1000) بینهایت (inf) میشود و همهچیز خراب میشود. اگر اول بیشینه را از همه کم کنیم، جواب هیچ فرقی نمیکند (درصدها همان میمانند، مثل اینکه به همه ۵ نمره کمتر بدهی و رتبهها عوض نشود) ولی دیگر عدد غولپیکر نداریم.
import numpy as np
def softmax(z):
e = np.exp(z - z.max())
return e / e.sum()
print(np.round(softmax(np.array([2.0, 1.0, 0.1])), 3)) # [0.659 0.242 0.099]
print(np.round(softmax(np.array([1000.0, 999.0, 998.0])), 3)) # [0.665 0.245 0.09 ] no inf!برای یک دسته (batch) مثال، هر سطر جداگانه softmax میگیرد. پس بیشینه و جمع را با axis=1 در هر سطر حساب میکنیم. keepdims=True کاری میکند که جواب به شکل ستون (n, 1) بماند تا broadcasting آن را درست از هر سطر کم کند. این نسخه را از این به بعد همیشه استفاده میکنیم.
def softmax(z):
e = np.exp(z - z.max(axis=1, keepdims=True))
return e / e.sum(axis=1, keepdims=True)
scores = np.array([[2.0, 1.0, 0.1], [0.0, 0.0, 3.0]])
print(np.round(softmax(scores), 3))
# [[0.659 0.242 0.099]
# [0.045 0.045 0.909]]جواب درست را هم به همان شکل احتمال مینویسیم: برای دستهی ۲ مینویسیم [0, 0, 1]، یعنی «۱۰۰٪ دستهی ۲». به این one-hot میگوییم (فقط یک خانه روشن است؛ در جلسهی ۳۱ با حلقه ساختیمش). np.eye(3) یک جدول ۳×۳ با قطر ۱ است و np.eye(3)[y] برای هر برچسب سطر مربوطش را برمیدارد.
y = np.array([0, 2, 1])
print(np.eye(3)[y])
# [[1. 0. 0.]
# [0. 0. 1.]
# [0. 1. 0.]]خطا چطور سنجیده شود؟ cross-entropy: فقط به احتمالی نگاه کن که شبکه به جواب درست داده و -log آن را بگیر. اگر به جواب درست ۰.۹ داده، خطا 0.105 (کم). اگر ۰.۵، خطا 0.693. اگر فقط ۰.۱، خطا 2.303 (خیلی زیاد). مثل میزان «غافلگیری»: هرچه به جواب درست احتمال کمتری داده باشی، بیشتر غافلگیر میشوی. p[np.arange(n), y] از هر سطر خانهی جواب درست را برمیدارد.
p = np.array([[0.9, 0.05, 0.05], [0.2, 0.5, 0.3], [0.1, 0.3, 0.6]])
y = np.array([0, 1, 0])
right = p[np.arange(len(y)), y]
print(right) # [0.9 0.5 0.1]
print(np.round(-np.log(right), 3)) # [0.105 0.693 2.303]
print(round(float(-np.log(right).mean()), 3)) # 1.034پیشبینی شبکه دستهای است که بیشترین احتمال را دارد: p.argmax(axis=1). دقت = چند درصد پیشبینیها با برچسب برابرند: (pred == y).mean(). این دو خط را در هر جلسهی بعد هم میبینی.
pred = p.argmax(axis=1)
print(pred) # [0 1 2]
print(round(float((pred == y).mean()), 3)) # 0.667و حالا قشنگترین بخش: وقتی softmax و cross-entropy با هم باشند، شیب خطا نسبت به امتیازها فقط p - Y است (Y همان one-hot). برای دستهی درست p - 1 منفی است، پس امتیازش بالا میرود؛ برای بقیه p مثبت است، پس امتیازشان پایین میآید. بقیه همان پسانتشار جلسهی ۴۲ است، فقط با شیب ReLU به جای سیگموید: dh = dz2 @ W2.T * (h > 0). تقسیم بر n میانگین میگیرد تا اندازهی قدم به تعداد مثالها بستگی نداشته باشد.
# one training step for a 2-layer ReLU + softmax network
h = np.maximum(0, X @ W1 + b1)
p = softmax(h @ W2 + b2)
dz2 = (p - np.eye(3)[y]) / len(X)
dh = dz2 @ W2.T * (h > 0)
W2 -= lr * h.T @ dz2
b2 -= lr * dz2.sum(axis=0)
W1 -= lr * X.T @ dh
b1 -= lr * dh.sum(axis=0)همه با هم: ۳۰ نقطه در سه گروه (هر گروه ۱۰ نقطه دور یک مرکز، با random.gauss که عدد تصادفی «زنگولهای» دور یک میانگین میدهد). شبکهی ۲ → ۸ → ۳ با ReLU و softmax، ۳۰۰ دوره. خطا پایین میآید و دقت به ۱۰۰٪ میرسد. در آخر چند نقطهی جدید را میپرسیم.
import random
import numpy as np
random.seed(4)
centers = [(1, 1), (4, 1), (2.5, 4)]
points, labels = [], []
for k in range(3):
cx, cy = centers[k]
for i in range(10):
points.append([random.gauss(cx, 0.7), random.gauss(cy, 0.7)])
labels.append(k)
X = np.array(points)
y = np.array(labels)
def softmax(z):
e = np.exp(z - z.max(axis=1, keepdims=True))
return e / e.sum(axis=1, keepdims=True)
def rand_matrix(rows, cols):
return np.array([[random.uniform(-0.5, 0.5) for _ in range(cols)] for _ in range(rows)])
random.seed(0)
W1 = rand_matrix(2, 8)
b1 = np.zeros(8)
W2 = rand_matrix(8, 3)
b2 = np.zeros(3)
lr = 0.2
for epoch in range(1, 301):
h = np.maximum(0, X @ W1 + b1)
p = softmax(h @ W2 + b2)
dz2 = (p - np.eye(3)[y]) / len(X)
dh = dz2 @ W2.T * (h > 0)
W2 -= lr * h.T @ dz2
b2 -= lr * dz2.sum(axis=0)
W1 -= lr * X.T @ dh
b1 -= lr * dh.sum(axis=0)
if epoch % 100 == 0:
loss = -np.log(p[np.arange(len(y)), y]).mean()
print(epoch, round(float(loss), 3), round(float((p.argmax(axis=1) == y).mean()), 3))
# 100 0.144 0.967
# 200 0.053 1.0
# 300 0.029 1.0⚠️ نقطهی [2.5, 2.2] را از شبکهی امروز بپرس: درست وسط سه گروه است و جواب واقعیاش را هیچکس نمیداند، اما شبکه با اطمینان ۶۴٪ میگوید «گروه ۰». و برای نقطهای خیلی دور مثل [10, -5]، که شبیه هیچکدام از ۳۰ نقطه نیست، با اطمینان نزدیک ۱۰۰٪ میگوید «گروه ۱»! softmax همیشه عددهایی میدهد که جمعشان ۱ است، حتی وقتی شبکه چیزی شبیه آن ورودی ندیده. «اطمینان بالا» یعنی شبکه بین این سه گزینه این یکی را خیلی ترجیح میدهد، نه اینکه جوابش درست است. هوش مصنوعیهای بزرگ هم با لحن کاملاً مطمئن اشتباه میگویند (توهم، جلسهی ۱۴)؛ اطمینان را با حقیقت یکی نگیر.
مثالهای این جلسه
- مثال تابع (هوش مصنوعی با پایتون): def softmax(z):
- مثال تابع (هوش مصنوعی با پایتون): def softmax(z): — شبکهی چندلایه با numpy ۲
- مثال متغیر (هوش مصنوعی با پایتون): y = np.array([0, 2, 1])
- مثال متغیر (هوش مصنوعی با پایتون): p = np.array([[0.9, 0.05, 0.05], [0.2, 0.5,…
- مثال متغیر (هوش مصنوعی با پایتون): pred = p.argmax(axis=1)
- مثال تاپل و مجموعه (هوش مصنوعی با پایتون): dz2 = (p - np.eye(3)[y]) / len(X)
- مثال list comprehension (هوش مصنوعی با پایتون): return np.array([[random.uniform(-0.5, 0.5)…
چالشها
- Softmax (آسان)
- One-Hot with np.eye (آسان)
- Cross-Entropy Loss (متوسط)
- Confident but Wrong (متوسط)
- Softmax Without a Hidden Layer (سخت)
- Train the Three-Class Network (سخت)
بیشتر بخوان
- تابع در پایتون: آموزش def، پارامتر و return با مثال
- متغیر در پایتون: تعریف، نامگذاری و تغییر مقدار با مثال
- تاپل و مجموعه (tuple و set) در پایتون: آموزش با مثال
- list comprehension در پایتون: از حلقه for تا یک خط کد
← جلسهی 43: شبکهی چندلایه با numpy ۱ جلسهی 45: دادهی بزرگتر ۱ →