جلسهی 17: تشویقی سگ Learning from Reward
کامپیوتری که قانون ندارد و فقط از برد و باخت یاد میگیرد: حالت، حرکت، پاداش، و «مغزی» از مهرهها که در یک دیکشنری است.
در این جلسه یاد میگیری
- در پایان این جلسه میدانی یادگیری با پاداش یعنی یاد گرفتن بدون جواب درست، فقط با برد و باخت.
- میتوانی حالت، حرکت و پاداش را در یک بازی نام ببری.
- میتوانی مغز مهرهای را با دیکشنری بسازی و به نسبت مهرهها حرکت انتخاب کنی.
- میتوانی بعد از هر بازی مغز را تشویق یا تنبیه کنی و ببینی کامپیوتر بهتر میشود.
درس
بازی چوبکبریت: ۱۰ چوب داریم، هر نوبت ۱، ۲ یا ۳ چوب برمیداری و هر کس آخرین چوب را بردارد، برنده است. کامپیوتر یک «مغز» دارد: جدولی از مهرهها. اول حدس بزن: کامپیوتری که هیچ قانونی بلد نیست، بعد از چند بازی تو را میبرد؟ سه بار خودت بازی کن. بعد «۲۰ بازی تمرینی» را بزن و جدول را نگاه کن: کدام میلهها بلند شدند؟ درصد بردش چه شد؟ «مغز از صفر» همه را برمیگرداند.
به سگت یاد میدهی بنشیند: هر بار نشست، یک تشویقی میگیرد. برایش توضیح نمیدهی «نشستن یعنی چه»؛ فقط کار خوب پاداش میگیرد و سگ کمکم آن را بیشتر انجام میدهد. این یادگیری با پاداش است. سه کلمهاش: حالت (الان چند چوب مانده)، حرکت (چند چوب برمیدارم)، پاداش (برد +1، باخت -1). مغز ما یک دیکشنری است: برای هر حالت، تعداد مهرهی هر حرکت.
brain = {}
for sticks in range(1, 11):
brain[sticks] = {}
for take in range(1, 4):
if take <= sticks:
brain[sticks][take] = 3
print(brain[10])
print(brain[2])کامپیوتر چطور حرکت را انتخاب میکند؟ مثل اینکه چشمبسته یک مهره از لیوان بیرون بکشد: حرکتی که مهرهی بیشتری دارد، شانس بیشتری دارد، ولی بقیه هم گاهی میآیند. در پایتون: random.choices(moves, weights=beads)[0]. هر حرکت به اندازهی وزنش شانس دارد.
import random
random.seed(2)
row = {1: 1, 2: 1, 3: 8}
for game in range(5):
take = random.choices([1, 2, 3], weights=[row[1], row[2], row[3]])[0]
print("take", take)بعد از هر بازی، کامپیوتر همهی حرکتهایش را که در یک لیست نوشته بود، مرور میکند. اگر برده، به هر کدام یک مهره اضافه میکند (تشویقی!). اگر باخته، یک مهره برمیدارد، ولی هیچوقت کمتر از 1 نمیشود تا آن حرکت برای همیشه گم نشود. هیچکس به او نگفت کدام حرکت خوب است؛ خودش از نتیجه فهمید.
brain = {10: {1: 3, 2: 3, 3: 3}, 6: {1: 3, 2: 3, 3: 1}}
my_moves = [(10, 2), (6, 3)]
won = False
for sticks, take in my_moves:
if won:
brain[sticks][take] += 1
else:
brain[sticks][take] = max(1, brain[sticks][take] - 1)
print(brain)بازی بدون کامپیوتر: ده لیوان کاغذی بگذارید با برچسب ۱ تا ۱۰ (چند چوب مانده). در هر لیوان مهرهی رنگی: قرمز یعنی ۱ چوب، سبز ۲، آبی ۳. یک نفر «ماشین» است: در نوبتش از لیوانِ تعداد چوبهای مانده چشمبسته یک مهره درمیآورد و همان را بازی میکند. اگر ماشین برد، به هر لیوانی که از آن مهره کشید یک مهرهی همرنگ اضافه کنید؛ اگر باخت، یکی بردارید. بعد از ده بازی، لیوانها را نگاه کنید!
⚠️ کامپیوتر همان چیزی را یاد میگیرد که تشویقش کنی، نه چیزی که منظورت بود. بعضی برنامهها برای «دقیقههای بیشتر جلوی صفحه» پاداش میگیرند؛ پس یاد میگیرند تو را تا دیروقت سرگرم نگه دارند، حتی اگر برایت خوب نباشد. وقتی دیدی نمیتوانی گوشی را زمین بگذاری، بدان یک «مغز مهرهای» برای همین تشویق شده است.
در پروژه: این مغز مهرهای، پدر جدول Q است. جلسهی بعد ربات به جای مهره، یک عدد «چقدر خوب است» برای هر حرکت نگه میدارد و در هر قدم یاد میگیرد، نه فقط آخر بازی. در جلسهی ۲۰ همان جدول، بازی دوندهات را خودش یاد میگیرد.
مثالهای این جلسه
- مثال حلقه for در پایتون: for sticks in range(1, 11):
- مثال دیکشنری در پایتون: row = {1: 1, 2: 1, 3: 8}
- مثال دیکشنری در پایتون: brain = {10: {1: 3, 2: 3, 3: 3}, 6: {1: 3, …
چالشها
- Read the Brain (آسان)
- State, Move or Reward? (آسان)
- Treat or No Treat (متوسط)
- Pull a Bead (متوسط)
- Train the Brain (سخت)
- Matchsticks on Screen (سخت)
بیشتر بخوان
← جلسهی 16: پروژه: دوز شکستناپذیر جلسهی 18: ربات و پنیر →