جلسهی 29: دو لایه میشود شبکه Two Layers Make a Network
یک نورون فقط میتواند با یک خط راست جدا کند، پس XOR از دستش برنمیآید. چند نورون در دو لایه این مشکل را حل میکنند: شبکهی عصبی.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم نشان دهم یک نورون نمیتواند XOR را یاد بگیرد.
- در پایان این جلسه میدانم لایهی پنهان یعنی چه.
- در پایان این جلسه میتوانم یک شبکهی دو لایه را با وزنهای دادهشده اجرا کنم (رو به جلو).
- در پایان این جلسه میتوانم XOR را با وزنهای دستی بسازم.
درس
جلسهی قبل نورون OR و AND را یاد گرفت. حالا XOR: خروجی ۱ وقتی دقیقاً یکی از دو ورودی ۱ باشد. [0,1] و [1,0] بله، [0,0] و [1,1] نه. ساده به نظر میرسد، ولی یک نورون هر چقدر هم آموزش ببیند، نمیتواند!
xor_data = [([0, 0], 0), ([0, 1], 1), ([1, 0], 1), ([1, 1], 0)]چرا؟ چهار نقطه را روی کاغذ شطرنجی بگذار: (0,0) و (1,1) یک گروه (نه)، (0,1) و (1,0) گروه دیگر (بله). نورون یک خط راست میکشد و میگوید این طرف بله، آن طرف نه. حالا سعی کن با یک خط راست دو گوشهی مقابل را از دو گوشهی دیگر جدا کنی. نمیشود! هر خطی حداقل یک نقطه را اشتباه میگیرد.
میتوانی خودت امتحان کنی: همان کد آموزش جلسهی قبل را روی XOR اجرا کن. بعد از هزار دوره، خروجی برای همهی ورودیها حدود ۰.۵ میماند؛ نورون گیج شده و تسلیم میشود. دقتش ۵۰٪ یا کمتر است، یعنی مثل شیر یا خط!
weights = [0.0, 0.0]
b = 0.0
for epoch in range(1000):
for inputs, target in xor_data:
weights, b = train_step(inputs, target, weights, b, 0.5)
for inputs, target in xor_data:
print(inputs, round(neuron(inputs, weights, b), 2), target)
# every output is about 0.5راه حل: به جای یک خط، دو خط! نورون اول یاد میگیرد «حداقل یکی ۱ است» (همان OR). نورون دوم یاد میگیرد «هر دو ۱ هستند» (همان AND). و نورون سوم جواب این دو را میگیرد و میگوید «OR بله ولی AND نه» = XOR. نورونهای اول و دوم را لایهی پنهان میگوییم چون خروجیشان را کاربر نمیبیند؛ نورون سوم لایهی خروجی است.
# hidden neuron 1 ~ OR: weights [6, 6], bias -3
# hidden neuron 2 ~ AND: weights [6, 6], bias -9
# output neuron: "OR and not AND": weights [8, -8], bias -4اجرای شبکه را رو به جلو (forward pass) میگوییم: ورودیها به لایهی پنهان، خروجیهای لایهی پنهان به نورون خروجی. هر نورون همان neuron جلسهی قبل است. فقط خروجی لایهی اول را در یک لیست میگذاریم و به عنوان ورودی به لایهی دوم میدهیم.
def forward(inputs, hidden, output):
h = []
for weights, b in hidden:
h.append(neuron(inputs, weights, b))
weights, b = output
return neuron(h, weights, b)
hidden = [([6, 6], -3), ([6, 6], -9)]
output = ([8, -8], -4)
for inputs, target in xor_data:
print(inputs, round(forward(inputs, hidden, output), 2), target)همین است! «شبکهی عصبی» یعنی چند نورون که خروجی یک لایه ورودی لایهی بعدی است. با دو نورون پنهان XOR را ساختیم. با صدها نورون پنهان میشود چهره تشخیص داد، و با میلیاردها، متن نوشت. لایهی پنهان ویژگیهای جدید میسازد (مثل OR و AND) که با آنها مسئله ساده میشود.
امروز وزنها را خودمان با دست انتخاب کردیم. سؤال بزرگ جلسهی بعد: شبکه چطور خودش این وزنها را پیدا کند؟ جواب: همان گرادیان کاهشی، ولی خطا باید از لایهی خروجی به عقب به لایهی پنهان برسد. اسمش «پسانتشار» است.
مثالهای این جلسه
- مثال لیست (هوش مصنوعی با پایتون): xor_data = [([0, 0], 0), ([0, 1], 1), ([1, …
- مثال حلقه for (هوش مصنوعی با پایتون): for epoch in range(1000):
- مثال پایتون (هوش مصنوعی با پایتون):
- مثال تابع (هوش مصنوعی با پایتون): def forward(inputs, hidden, output):
چالشها
- XOR Truth Table (آسان)
- One Neuron Gives Up (آسان)
- The Hidden Layer (متوسط)
- Forward Pass (متوسط)
- Design Your Own Weights (سخت)
- Count the Weights (سخت)
بیشتر بخوان
- لیست در پایتون: آموزش کامل list با مثال، متدها و نکتهها
- حلقه for در پایتون: آموزش کامل با range و مثال
- پایتون چیست؟ تاریخچه، کاربردها و راه شروع
- تابع در پایتون: آموزش def، پارامتر و return با مثال
← جلسهی 28: پروژه: پیشبینی قیمت جلسهی 30: شبکهی XOR با دست →