بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 43: شبکه‌ی چندلایه با numpy ۱ A Multi-Layer Network with numpy 1

لایه‌ی پنهان را به شکل ماتریس می‌سازیم، می‌بینیم چرا بدون تابع غیرخطی دو لایه فقط یک لایه است، با ReLU آشنا می‌شویم، یک دسته مثال را از دو لایه عبور می‌دهیم و پارامترها را می‌شماریم.

در این جلسه یاد می‌گیری

درس

یادآوری: این جلسه هم numpy لازم دارد. اگر روی مرورگر یا کامپیوتر دیگری هستی و import numpy خطای ModuleNotFoundError داد، از منوی «کتابخانه‌ها» دکمه‌ی «نصب» NumPy را یک بار بزن و دوباره اجرا کن.

جلسه‌ی قبل دیدیم یک لایه = X @ W + b. لایه‌ی پنهانِ یک شبکه‌ی واقعی خیلی بزرگ‌تر از ۲ نورون است. مثلاً برای عکس ۵×۵ (۲۵ پیکسل) با ۱۶ نورون پنهان، W1 شکل (25, 16) دارد: هر ستون یک نورون که به هر ۲۵ پیکسل نگاه می‌کند. هر نورون پنهان یک «ویژگی» یاد می‌گیرد، مثل «خط عمودی وسط» یا «دایره‌ی بالا»؛ درست مثل OR و AND در XOR.

یک سؤال مهم: اگر لایه‌ها را بدون سیگموید (یا هر تابع دیگری) پشت هم بگذاریم چه؟ فروشگاهی ۲۰٪ تخفیف می‌دهد و بعد روی قیمت جدید ۱۰٪ دیگر. این دو تخفیف پشت سر هم دقیقاً برابر یک تخفیف ۲۸٪ است! ضرب ماتریس هم همین‌طور است: (X @ W1) @ W2 همان X @ (W1 @ W2) است. یعنی ده لایه‌ی خطی هم فقط یک لایه‌ی خطی‌اند و نمی‌توانند XOR را یاد بگیرند. np.allclose دو آرایه را با چشم‌پوشی از خطاهای خیلی ریز اعشاری مقایسه می‌کند.

import random
import numpy as np

random.seed(1)


def rand_matrix(rows, cols):
    return np.array([[random.uniform(-1, 1) for _ in range(cols)] for _ in range(rows)])


X = rand_matrix(3, 4)
W1 = rand_matrix(4, 5)
W2 = rand_matrix(5, 2)
two_layers = (X @ W1) @ W2
one_layer = X @ (W1 @ W2)
print(np.allclose(two_layers, one_layer))   # True: the second layer added nothing

پس بین لایه‌ها یک تابع غیرخطی لازم است که خط را «خم» کند. سیگموید یکی از آن‌هاست، اما شبکه‌های امروزی بیشتر از ReLU استفاده می‌کنند که خیلی ساده‌تر است: «اگر منفی بود صفر کن، اگر مثبت بود دست نزن». مثل گروه کلاس که فقط پیام‌های مثبت را رد می‌کند و منفی‌ها را ساکت. در numpy: np.maximum(0, z) که خانه‌به‌خانه بزرگ‌تر از ۰ و z را برمی‌دارد.

z = np.array([-2.0, -0.5, 0.0, 1.5, 3.0])
print(np.maximum(0, z))        # [0.  0.  0.  1.5 3. ]
print(np.allclose(np.maximum(0, X @ W1) @ W2, X @ (W1 @ W2)))   # False: now it is really two layers

برای پس‌انتشار، شیب ReLU لازم است، و این هم خیلی ساده است: جایی که z > 0 شیب ۱ است (خط صاف با زاویه‌ی ۴۵ درجه) و جای دیگر ۰ (کف صاف). z > 0 یک ماسک درست/غلط می‌دهد و وقتی در عدد ضرب شود، True مثل ۱ و False مثل ۰ رفتار می‌کند. به جای out * (1 - out) سیگموید، این بار فقط * (z > 0).

print(z > 0)                 # [False False False  True  True]
blame = np.array([0.5, 0.5, 0.5, 0.5, 0.5])
print(blame * (z > 0))       # [0.  0.  0.  0.5 0.5]  only active neurons get blame

حالا رو به جلو برای یک دسته (batch) مثال از دو لایه: ۵ مثال با ۴ ویژگی، ۸ نورون پنهان با ReLU، و ۳ نورون خروجی (فعلاً بدون تابع؛ جلسه‌ی بعد softmax را رویش می‌گذاریم). با قانون شکل جلسه‌ی قبل هر قدم را دنبال کن: (5,4) @ (4,8) -> (5,8) و (5,8) @ (8,3) -> (5,3).

X = rand_matrix(5, 4)
W1 = rand_matrix(4, 8)
b1 = np.zeros(8)
W2 = rand_matrix(8, 3)
b2 = np.zeros(3)
h = np.maximum(0, X @ W1 + b1)
out = h @ W2 + b2
print(h.shape, out.shape)    # (5, 8) (5, 3)

پارامترها همه‌ی عددهایی هستند که شبکه یاد می‌گیرد: وزن‌ها و بایاس‌ها. W.size تعداد خانه‌های یک آرایه است. شبکه‌ی ۲۵ → ۱۶ → ۱۰ (پیکسل‌ها، پنهان، ده رقم): 25*16 + 16 برای لایه‌ی اول و 16*10 + 10 برای دومی، روی هم ۵۸۶. نورون پنهان بیشتر یعنی ویژگی بیشتر و قدرت بیشتر، ولی پارامتر بیشتر هم یعنی آموزش کندتر و خطر بیشترِ حفظ کردن داده. مدل‌های بزرگ زبانی مثل ChatGPT صدها میلیارد پارامتر دارند!

for hidden in [4, 16, 64]:
    count = 25 * hidden + hidden + hidden * 10 + 10
    print(hidden, "hidden ->", count, "parameters")
# 4 hidden -> 154 parameters
# 16 hidden -> 586 parameters
# 64 hidden -> 2314 parameters

اشتباه‌های رایج: ۱) گذاشتن ReLU روی لایه‌ی آخر؛ خروجی آخر باید بتواند منفی هم باشد (یا بعداً softmax بگیرد). ۲) نوشتن max(0, z) پایتون به جای np.maximum؛ max معمولی با آرایه خطا می‌دهد. ۳) بایاس با شکل اشتباه: b1 باید به اندازه‌ی تعداد نورون‌ها باشد (np.zeros(8))، نه تعداد مثال‌ها.

⚠️ شبکه‌ی امروز هر ویژگی‌ای را که در داده باشد یاد می‌گیرد، و فقط همان را. اگر یک شرکت سیستم تشخیص چهره را با عکس‌هایی آموزش دهد که تقریباً همه‌شان پوست روشن دارند، نورون‌های پنهان ویژگی‌های چهره‌ی تیره را هیچ‌وقت خوب یاد نمی‌گیرند و سیستم برای این آدم‌ها بیشتر اشتباه می‌کند. این اتفاق واقعاً افتاده و پژوهشگرها نشانش داده‌اند. ۵۸۶ پارامتر یا ۵۸۶ میلیارد فرقی ندارد: شبکه فقط چیزی را می‌داند که در داده‌اش بوده. همیشه بپرس: «چه کسانی در داده‌ی من کم هستند؟» (سوگیری، bias)

مثال‌های این جلسه

چالش‌ها

  1. ReLU (آسان)
  2. Count the Parameters (آسان)
  3. Two Linear Layers Are One (متوسط)
  4. Forward Through Two Layers (متوسط)
  5. Parameter Counter (سخت)
  6. A Deep Forward Pass (سخت)

بیشتر بخوان

← جلسه‌ی 42: numpy: ماتریس به جای حلقه ۲ جلسه‌ی 44: شبکه‌ی چندلایه با numpy ۲ →