بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 61: پروژه: عامل بازی Project: Game Agent

پروژه‌ی شش‌قدمی: عاملی که بازی چوب‌کبریت (Nim) را فقط با برد و باخت یاد می‌گیرد و آخر کار راه بردی را پیدا می‌کند که هیچ‌کس به او نگفته بود.

در این جلسه یاد می‌گیری

درس

بازی چوب‌کبریت (Nim): ۱۰ چوب روی میز است. دو نفر به نوبت ۱، ۲ یا ۳ چوب برمی‌دارند. هر کس آخرین چوب را بردارد، برنده است. قبل از هر کدی، دو دقیقه با بغل‌دستی‌ات با ۱۰ مداد یا ۱۰ تکه کاغذ بازی کن. سؤال: آیا ترفندی هست که همیشه ببری؟ جوابش را فعلاً به هیچ‌کس نگو؛ امروز می‌خواهیم ببینیم عامل خودش آن را پیدا می‌کند یا نه.

نقشه‌ی شش قدم: ۱) قانون‌های بازی، ۲) یک حریف تصادفی، ۳) جدول Q و انتخاب اپسیلون-حریصانه، ۴) یک بازی کامل و یادگیری از نتیجه‌ی آن، ۵) هزاران بازی آموزش و درصد برد قبل و بعد، ۶) چاپ سیاست یادگرفته و پیدا کردن الگو. هر قدم کد قدم قبل را دارد؛ آخر جلسه یک برنامه‌ی کامل داری. فرق مهم با ماز: این‌جا بعد از هر حرکت پاداشی نیست؛ فقط آخر بازی معلوم می‌شود بردی (+1) یا باختی (-1).

بازیکن یعنی یک تابع: تعداد چوب‌های باقی‌مانده را می‌گیرد و می‌گوید چند تا برمی‌دارد. در پایتون می‌توانیم خود تابع را (بدون پرانتز) به تابع دیگری بدهیم، مثل این‌که اسم بازیکن را در برگه‌ی مسابقه بنویسی. play_game(take_one, take_most) دو بازیکن را به نوبت صدا می‌زند و شماره‌ی برنده را برمی‌گرداند: 0 یعنی نفر اول، 1 یعنی نفر دوم.

def take_one(sticks):
    return 1


def play_game(first, second):
    sticks = 10
    players = [first, second]
    turn = 0
    while True:
        t = players[turn](sticks)   # call whichever player's turn it is
        sticks = sticks - t
        if sticks <= 0:
            return turn
        turn = 1 - turn             # 0 -> 1 -> 0 -> 1 ...

جدول Q این بار دیکشنری است با کلید (sticks, take): «وقتی ۷ چوب مانده و ۳ تا برمی‌دارم، چقدر خوب است؟». چرا دیکشنری و نه آرایه‌ی numpy؟ چون همه‌ی حرکت‌ها همه‌جا ممکن نیستند: با ۲ چوب نمی‌شود ۳ تا برداشت. دیکشنری فقط حرکت‌های ممکن را نگه می‌دارد: ۲۷ خانه.

پاداش فقط آخر بازی می‌آید، پس چه کسی را تشویق کنیم؟ ساده‌ترین راه: همه‌ی حرکت‌های عامل در آن بازی را. مثل تیم فوتبال: وقتی تیم می‌برد، همه‌ی بازیکن‌ها کمی اعتمادبه‌نفس می‌گیرند، حتی اگر یکی بد بازی کرده باشد. در هزاران بازی، حرکت‌های خوب بیشتر در بردها هستند و حرکت‌های بد بیشتر در باخت‌ها، پس میانگین درست درمی‌آید. قانون یادگیری همان قدم کوچک همیشگی است: Q[key] += lr * (reward - Q[key]).

history = [(10, 1), (8, 1), (5, 1), (3, 1)]   # the agent's moves in one game
reward = -1                                    # ... and it lost
lr = 0.5
for key in history:
    Q[key] += lr * (reward - Q[key])           # every move gets a bit of the blame

اندازه‌گیری منصفانه: موقع اندازه‌گیری کشف را خاموش می‌کنیم (epsilon = 0.0) تا ببینیم عامل واقعاً چه یاد گرفته، و در نیمی از بازی‌ها عامل اول بازی می‌کند و در نیم دیگر حریف. یادت هست جلسه‌ی ۴۸؟ عددی که گزارش می‌کنی باید از بازی‌های زیاد بیاید، نه از یک بازی خوش‌شانس.

و جواب ترفند: همیشه طوری بردار که مضربی از ۴ بماند. اگر ۴ چوب جلوی حریفت باشد، هر چه بردارد (۱، ۲ یا ۳) تو بقیه را برمی‌داری و می‌بری. با ۸ هم همین: هر چه بردارد، تو آن‌قدر برمی‌داری که جمع دو حرکت ۴ شود. عامل ما این را از هیچ کتابی نخواند؛ فقط از ۵۰۰۰ بار برد و باخت پیدایش کرد. با seed دیگری ممکن است در یکی دو حالت (معمولاً ۱۰ چوب) هنوز اشتباه کند؛ آموزش بیشتر درستش می‌کند.

⚠️ تقلب با هوش مصنوعی در بازی‌ها: همین ایده در بازی‌های آنلاین هم کار می‌کند و بعضی‌ها ربات می‌سازند که به جای خودشان بازی کند (بات یا ایم‌بات). بازی کردن با ربات در برابر آدم‌های واقعی تقلب است، با قانون همه‌ی بازی‌ها ممنوع است و حساب کاربری را برای همیشه می‌بندند. عاملت را فقط در برابر خودت، دوستی که خبر دارد، یا یک ربات دیگر بازی بده.

اگر زود تمام کردی: START را ۱۲ کن و ببین عامل وقتی نفر اول است چه می‌کند (۱۲ خودش مضرب ۴ است!). یا قانون را عوض کن که ۱ تا ۴ چوب بشود برداشت و حدس بزن الگوی جدید چیست (مضرب ۵؟). یا دو عامل با دو جدول Q بساز و بگذار با هم بازی کنند.

مثال‌های این جلسه

چالش‌ها

  1. Step 1: The Rules (آسان)
  2. Step 2: A Random Opponent (آسان)
  3. Step 3: The Q-Table (متوسط)
  4. Step 4: Learn from One Game (متوسط)
  5. Step 5: Train and Measure (سخت)
  6. Step 6: The Learned Strategy (سخت)

بیشتر بخوان

← جلسه‌ی 60: یادگیری تقویتی ۲ جلسه‌ی 62: پرامپت‌نویسی پیشرفته ۱ →