بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 29: دو لایه می‌شود شبکه Two Layers Make a Network

یک نورون فقط می‌تواند با یک خط راست جدا کند، پس XOR از دستش برنمی‌آید. چند نورون در دو لایه این مشکل را حل می‌کنند: شبکه‌ی عصبی.

در این جلسه یاد می‌گیری

درس

جلسه‌ی قبل نورون OR و AND را یاد گرفت. حالا XOR: خروجی ۱ وقتی دقیقاً یکی از دو ورودی ۱ باشد. [0,1] و [1,0] بله، [0,0] و [1,1] نه. ساده به نظر می‌رسد، ولی یک نورون هر چقدر هم آموزش ببیند، نمی‌تواند!

xor_data = [([0, 0], 0), ([0, 1], 1), ([1, 0], 1), ([1, 1], 0)]

چرا؟ چهار نقطه را روی کاغذ شطرنجی بگذار: (0,0) و (1,1) یک گروه (نه)، (0,1) و (1,0) گروه دیگر (بله). نورون یک خط راست می‌کشد و می‌گوید این طرف بله، آن طرف نه. حالا سعی کن با یک خط راست دو گوشه‌ی مقابل را از دو گوشه‌ی دیگر جدا کنی. نمی‌شود! هر خطی حداقل یک نقطه را اشتباه می‌گیرد.

می‌توانی خودت امتحان کنی: همان کد آموزش جلسه‌ی قبل را روی XOR اجرا کن. بعد از هزار دوره، خروجی برای همه‌ی ورودی‌ها حدود ۰.۵ می‌ماند؛ نورون گیج شده و تسلیم می‌شود. دقتش ۵۰٪ یا کمتر است، یعنی مثل شیر یا خط!

weights = [0.0, 0.0]
b = 0.0
for epoch in range(1000):
    for inputs, target in xor_data:
        weights, b = train_step(inputs, target, weights, b, 0.5)
for inputs, target in xor_data:
    print(inputs, round(neuron(inputs, weights, b), 2), target)
# every output is about 0.5

راه حل: به جای یک خط، دو خط! نورون اول یاد می‌گیرد «حداقل یکی ۱ است» (همان OR). نورون دوم یاد می‌گیرد «هر دو ۱ هستند» (همان AND). و نورون سوم جواب این دو را می‌گیرد و می‌گوید «OR بله ولی AND نه» = XOR. نورون‌های اول و دوم را لایه‌ی پنهان می‌گوییم چون خروجی‌شان را کاربر نمی‌بیند؛ نورون سوم لایه‌ی خروجی است.

# hidden neuron 1 ~ OR:   weights [6, 6],  bias -3
# hidden neuron 2 ~ AND:  weights [6, 6],  bias -9
# output neuron: "OR and not AND": weights [8, -8], bias -4

اجرای شبکه را رو به جلو (forward pass) می‌گوییم: ورودی‌ها به لایه‌ی پنهان، خروجی‌های لایه‌ی پنهان به نورون خروجی. هر نورون همان neuron جلسه‌ی قبل است. فقط خروجی لایه‌ی اول را در یک لیست می‌گذاریم و به عنوان ورودی به لایه‌ی دوم می‌دهیم.

def forward(inputs, hidden, output):
    h = []
    for weights, b in hidden:
        h.append(neuron(inputs, weights, b))
    weights, b = output
    return neuron(h, weights, b)

hidden = [([6, 6], -3), ([6, 6], -9)]
output = ([8, -8], -4)
for inputs, target in xor_data:
    print(inputs, round(forward(inputs, hidden, output), 2), target)

همین است! «شبکه‌ی عصبی» یعنی چند نورون که خروجی یک لایه ورودی لایه‌ی بعدی است. با دو نورون پنهان XOR را ساختیم. با صدها نورون پنهان می‌شود چهره تشخیص داد، و با میلیاردها، متن نوشت. لایه‌ی پنهان ویژگی‌های جدید می‌سازد (مثل OR و AND) که با آن‌ها مسئله ساده می‌شود.

امروز وزن‌ها را خودمان با دست انتخاب کردیم. سؤال بزرگ جلسه‌ی بعد: شبکه چطور خودش این وزن‌ها را پیدا کند؟ جواب: همان گرادیان کاهشی، ولی خطا باید از لایه‌ی خروجی به عقب به لایه‌ی پنهان برسد. اسمش «پس‌انتشار» است.

مثال‌های این جلسه

چالش‌ها

  1. XOR Truth Table (آسان)
  2. One Neuron Gives Up (آسان)
  3. The Hidden Layer (متوسط)
  4. Forward Pass (متوسط)
  5. Design Your Own Weights (سخت)
  6. Count the Weights (سخت)

بیشتر بخوان

← جلسه‌ی 28: پروژه: پیش‌بینی قیمت جلسه‌ی 30: شبکه‌ی XOR با دست →