بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 17: تشویقی سگ Learning from Reward

کامپیوتری که قانون ندارد و فقط از برد و باخت یاد می‌گیرد: حالت، حرکت، پاداش، و «مغزی» از مهره‌ها که در یک دیکشنری است.

در این جلسه یاد می‌گیری

درس

بازی چوب‌کبریت: ۱۰ چوب داریم، هر نوبت ۱، ۲ یا ۳ چوب برمی‌داری و هر کس آخرین چوب را بردارد، برنده است. کامپیوتر یک «مغز» دارد: جدولی از مهره‌ها. اول حدس بزن: کامپیوتری که هیچ قانونی بلد نیست، بعد از چند بازی تو را می‌برد؟ سه بار خودت بازی کن. بعد «۲۰ بازی تمرینی» را بزن و جدول را نگاه کن: کدام میله‌ها بلند شدند؟ درصد بردش چه شد؟ «مغز از صفر» همه را برمی‌گرداند.

به سگت یاد می‌دهی بنشیند: هر بار نشست، یک تشویقی می‌گیرد. برایش توضیح نمی‌دهی «نشستن یعنی چه»؛ فقط کار خوب پاداش می‌گیرد و سگ کم‌کم آن را بیشتر انجام می‌دهد. این یادگیری با پاداش است. سه کلمه‌اش: حالت (الان چند چوب مانده)، حرکت (چند چوب برمی‌دارم)، پاداش (برد +1، باخت -1). مغز ما یک دیکشنری است: برای هر حالت، تعداد مهره‌ی هر حرکت.

brain = {}
for sticks in range(1, 11):
    brain[sticks] = {}
    for take in range(1, 4):
        if take <= sticks:
            brain[sticks][take] = 3
print(brain[10])
print(brain[2])

کامپیوتر چطور حرکت را انتخاب می‌کند؟ مثل این‌که چشم‌بسته یک مهره از لیوان بیرون بکشد: حرکتی که مهره‌ی بیشتری دارد، شانس بیشتری دارد، ولی بقیه هم گاهی می‌آیند. در پایتون: random.choices(moves, weights=beads)[0]. هر حرکت به اندازه‌ی وزنش شانس دارد.

import random
random.seed(2)
row = {1: 1, 2: 1, 3: 8}
for game in range(5):
    take = random.choices([1, 2, 3], weights=[row[1], row[2], row[3]])[0]
    print("take", take)

بعد از هر بازی، کامپیوتر همه‌ی حرکت‌هایش را که در یک لیست نوشته بود، مرور می‌کند. اگر برده، به هر کدام یک مهره اضافه می‌کند (تشویقی!). اگر باخته، یک مهره برمی‌دارد، ولی هیچ‌وقت کم‌تر از 1 نمی‌شود تا آن حرکت برای همیشه گم نشود. هیچ‌کس به او نگفت کدام حرکت خوب است؛ خودش از نتیجه فهمید.

brain = {10: {1: 3, 2: 3, 3: 3}, 6: {1: 3, 2: 3, 3: 1}}
my_moves = [(10, 2), (6, 3)]
won = False
for sticks, take in my_moves:
    if won:
        brain[sticks][take] += 1
    else:
        brain[sticks][take] = max(1, brain[sticks][take] - 1)
print(brain)

بازی بدون کامپیوتر: ده لیوان کاغذی بگذارید با برچسب ۱ تا ۱۰ (چند چوب مانده). در هر لیوان مهره‌ی رنگی: قرمز یعنی ۱ چوب، سبز ۲، آبی ۳. یک نفر «ماشین» است: در نوبتش از لیوانِ تعداد چوب‌های مانده چشم‌بسته یک مهره درمی‌آورد و همان را بازی می‌کند. اگر ماشین برد، به هر لیوانی که از آن مهره کشید یک مهره‌ی هم‌رنگ اضافه کنید؛ اگر باخت، یکی بردارید. بعد از ده بازی، لیوان‌ها را نگاه کنید!

⚠️ کامپیوتر همان چیزی را یاد می‌گیرد که تشویقش کنی، نه چیزی که منظورت بود. بعضی برنامه‌ها برای «دقیقه‌های بیشتر جلوی صفحه» پاداش می‌گیرند؛ پس یاد می‌گیرند تو را تا دیروقت سرگرم نگه دارند، حتی اگر برایت خوب نباشد. وقتی دیدی نمی‌توانی گوشی را زمین بگذاری، بدان یک «مغز مهره‌ای» برای همین تشویق شده است.

در پروژه: این مغز مهره‌ای، پدر جدول Q است. جلسه‌ی بعد ربات به جای مهره، یک عدد «چقدر خوب است» برای هر حرکت نگه می‌دارد و در هر قدم یاد می‌گیرد، نه فقط آخر بازی. در جلسه‌ی ۲۰ همان جدول، بازی دونده‌ات را خودش یاد می‌گیرد.

مثال‌های این جلسه

چالش‌ها

  1. Read the Brain (آسان)
  2. State, Move or Reward? (آسان)
  3. Treat or No Treat (متوسط)
  4. Pull a Bead (متوسط)
  5. Train the Brain (سخت)
  6. Matchsticks on Screen (سخت)

بیشتر بخوان

← جلسه‌ی 16: پروژه: دوز شکست‌ناپذیر جلسه‌ی 18: ربات و پنیر →