جلسهی 27: نورون سیگموید The Sigmoid Neuron
نورون آستانهای فقط «بله / نه» میگفت. با تابع سیگموید نورون یک احتمال بین ۰ و ۱ میدهد و میتواند با گرادیان کاهشی یاد بگیرد.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم تابع سیگموید را بنویسم و بگویم چرا خروجیاش بین ۰ و ۱ است.
- در پایان این جلسه میتوانم خروجی یک نورون سیگموید را با چند ورودی حساب کنم.
- در پایان این جلسه میتوانم خروجی را به تصمیم (بالای ۰.۵ یعنی بله) تبدیل کنم.
- در پایان این جلسه میتوانم وزنهای یک نورون را با قاعدهی سادهی بهروزرسانی آموزش دهم.
درس
در فاز قبل یک نورون ساختی که ورودیها را در وزنها ضرب میکرد، جمع میزد و اگر از آستانه بیشتر بود میگفت ۱ وگرنه ۰. مشکلش این بود: یک پلهی تیز. اگر جمع ۰.۴۹ باشد میگوید «نه» و اگر ۰.۵۱ باشد «بله»، بدون هیچ «شاید». و بدتر: پله را نمیشود با گرادیان کاهشی یاد داد، چون شیبش همه جا صفر است.
def step_neuron(x1, x2, w1, w2, b):
total = w1 * x1 + w2 * x2 + b
if total > 0:
return 1
return 0راه حل: پله را نرم کن. تابع سیگموید هر عددی را به عددی بین ۰ و ۱ تبدیل میکند: عددهای خیلی منفی نزدیک ۰، خیلی مثبت نزدیک ۱، و صفر دقیقاً ۰.۵. فرمولش 1 / (1 + e^(-x)) است و math.exp همان e به توان است. حالا خروجی نورون یک احتمال است: «۸۰ درصد مطمئنم بله».
import math
def sigmoid(x):
return 1 / (1 + math.exp(-x))
print(round(sigmoid(-5), 3)) # 0.007
print(sigmoid(0)) # 0.5
print(round(sigmoid(2), 3)) # 0.881نورون سیگموید: همان جمع وزنی، ولی به جای پله، سیگموید. ورودیها میتوانند هر تعداد باشند؛ از لیست استفاده میکنیم. برای تصمیم نهایی، اگر خروجی بیشتر از ۰.۵ بود «بله».
def neuron(inputs, weights, b):
total = b
for i in range(len(inputs)):
total = total + inputs[i] * weights[i]
return sigmoid(total)
p = neuron([1, 0], [2.0, -1.0], -0.5)
print(round(p, 3)) # 0.818
print("yes" if p > 0.5 else "no")چرا این بهتر است؟ چون میشود یادش داد! خطای نورون output - target است (هدف ۰ یا ۱). قاعدهی بهروزرسانی، تقریباً همان جلسهی ۲۵ است: هر وزن را به اندازهی lr * error * input کم کن. (در نسخهی دقیق یک ضریب output * (1 - output) هم هست که شیب سیگموید را حساب میکند؛ ما نسخهی ساده را مینویسیم که برای نمونههای کوچک خوب کار میکند.)
def train_step(inputs, target, weights, b, lr):
output = neuron(inputs, weights, b)
error = output - target
for i in range(len(weights)):
weights[i] = weights[i] - lr * error * inputs[i]
b = b - lr * error
return weights, bبیایید نورون را یاد بدهیم «یا» (OR) را حساب کند: اگر هر کدام از ورودیها ۱ باشد خروجی ۱. چهار مثال داریم. چند صد بار روی همهی مثالها قدم برمیداریم. در آخر وزنها مثبت و بایاس منفی میشود: یعنی «هر ورودی به تنهایی برای بله کافی است، ولی اگر هیچکدام نباشد، نه».
data = [([0, 0], 0), ([0, 1], 1), ([1, 0], 1), ([1, 1], 1)]
weights = [0.0, 0.0]
b = 0.0
for epoch in range(300):
for inputs, target in data:
weights, b = train_step(inputs, target, weights, b, 0.5)
for inputs, target in data:
print(inputs, round(neuron(inputs, weights, b), 2), target)واژهی جدید: دوره (epoch) یعنی یک بار گذشتن از روی همهی مثالها. در کد بالا ۳۰۰ دوره داشتیم. شبکههای واقعی هم با همین واژه کار میکنند: «مدل را ۱۰ دوره آموزش دادیم».
اشتباه رایج: math.exp(x) به جای math.exp(-x)؛ آنوقت سیگموید برعکس میشود. اشتباه دوم: برای عددهای خیلی بزرگ (مثلاً ۱۰۰۰) math.exp سرریز میکند و خطای OverflowError میدهد؛ در پروژههای بزرگ ورودیها را نرمال میکنند تا این پیش نیاید.
مثالهای این جلسه
- مثال تابع (هوش مصنوعی با پایتون): def step_neuron(x1, x2, w1, w2, b):
- مثال تابع (هوش مصنوعی با پایتون): def sigmoid(x):
- مثال تابع (هوش مصنوعی با پایتون): def neuron(inputs, weights, b):
- مثال تابع (هوش مصنوعی با پایتون): def train_step(inputs, target, weights, b, …
- مثال حلقه for (هوش مصنوعی با پایتون): for epoch in range(300):
چالشها
- Write sigmoid (آسان)
- From Step to Sigmoid (آسان)
- Neuron with a List (متوسط)
- One Training Step (متوسط)
- Learn OR (سخت)
- Learn AND, Then Test (سخت)