بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 27: نورون سیگموید The Sigmoid Neuron

نورون آستانه‌ای فقط «بله / نه» می‌گفت. با تابع سیگموید نورون یک احتمال بین ۰ و ۱ می‌دهد و می‌تواند با گرادیان کاهشی یاد بگیرد.

در این جلسه یاد می‌گیری

درس

در فاز قبل یک نورون ساختی که ورودی‌ها را در وزن‌ها ضرب می‌کرد، جمع می‌زد و اگر از آستانه بیشتر بود می‌گفت ۱ وگرنه ۰. مشکلش این بود: یک پله‌ی تیز. اگر جمع ۰.۴۹ باشد می‌گوید «نه» و اگر ۰.۵۱ باشد «بله»، بدون هیچ «شاید». و بدتر: پله را نمی‌شود با گرادیان کاهشی یاد داد، چون شیبش همه جا صفر است.

def step_neuron(x1, x2, w1, w2, b):
    total = w1 * x1 + w2 * x2 + b
    if total > 0:
        return 1
    return 0

راه حل: پله را نرم کن. تابع سیگموید هر عددی را به عددی بین ۰ و ۱ تبدیل می‌کند: عددهای خیلی منفی نزدیک ۰، خیلی مثبت نزدیک ۱، و صفر دقیقاً ۰.۵. فرمولش 1 / (1 + e^(-x)) است و math.exp همان e به توان است. حالا خروجی نورون یک احتمال است: «۸۰ درصد مطمئنم بله».

import math

def sigmoid(x):
    return 1 / (1 + math.exp(-x))

print(round(sigmoid(-5), 3))   # 0.007
print(sigmoid(0))              # 0.5
print(round(sigmoid(2), 3))    # 0.881

نورون سیگموید: همان جمع وزنی، ولی به جای پله، سیگموید. ورودی‌ها می‌توانند هر تعداد باشند؛ از لیست استفاده می‌کنیم. برای تصمیم نهایی، اگر خروجی بیشتر از ۰.۵ بود «بله».

def neuron(inputs, weights, b):
    total = b
    for i in range(len(inputs)):
        total = total + inputs[i] * weights[i]
    return sigmoid(total)

p = neuron([1, 0], [2.0, -1.0], -0.5)
print(round(p, 3))             # 0.818
print("yes" if p > 0.5 else "no")

چرا این بهتر است؟ چون می‌شود یادش داد! خطای نورون output - target است (هدف ۰ یا ۱). قاعده‌ی به‌روزرسانی، تقریباً همان جلسه‌ی ۲۵ است: هر وزن را به اندازه‌ی lr * error * input کم کن. (در نسخه‌ی دقیق یک ضریب output * (1 - output) هم هست که شیب سیگموید را حساب می‌کند؛ ما نسخه‌ی ساده را می‌نویسیم که برای نمونه‌های کوچک خوب کار می‌کند.)

def train_step(inputs, target, weights, b, lr):
    output = neuron(inputs, weights, b)
    error = output - target
    for i in range(len(weights)):
        weights[i] = weights[i] - lr * error * inputs[i]
    b = b - lr * error
    return weights, b

بیایید نورون را یاد بدهیم «یا» (OR) را حساب کند: اگر هر کدام از ورودی‌ها ۱ باشد خروجی ۱. چهار مثال داریم. چند صد بار روی همه‌ی مثال‌ها قدم برمی‌داریم. در آخر وزن‌ها مثبت و بایاس منفی می‌شود: یعنی «هر ورودی به تنهایی برای بله کافی است، ولی اگر هیچ‌کدام نباشد، نه».

data = [([0, 0], 0), ([0, 1], 1), ([1, 0], 1), ([1, 1], 1)]
weights = [0.0, 0.0]
b = 0.0
for epoch in range(300):
    for inputs, target in data:
        weights, b = train_step(inputs, target, weights, b, 0.5)
for inputs, target in data:
    print(inputs, round(neuron(inputs, weights, b), 2), target)

واژه‌ی جدید: دوره (epoch) یعنی یک بار گذشتن از روی همه‌ی مثال‌ها. در کد بالا ۳۰۰ دوره داشتیم. شبکه‌های واقعی هم با همین واژه کار می‌کنند: «مدل را ۱۰ دوره آموزش دادیم».

اشتباه رایج: math.exp(x) به جای math.exp(-x)؛ آن‌وقت سیگموید برعکس می‌شود. اشتباه دوم: برای عددهای خیلی بزرگ (مثلاً ۱۰۰۰) math.exp سرریز می‌کند و خطای OverflowError می‌دهد؛ در پروژه‌های بزرگ ورودی‌ها را نرمال می‌کنند تا این پیش نیاید.

مثال‌های این جلسه

چالش‌ها

  1. Write sigmoid (آسان)
  2. From Step to Sigmoid (آسان)
  3. Neuron with a List (متوسط)
  4. One Training Step (متوسط)
  5. Learn OR (سخت)
  6. Learn AND, Then Test (سخت)

بیشتر بخوان

← جلسه‌ی 26: نرخ یادگیری جلسه‌ی 28: پروژه: پیش‌بینی قیمت →