جلسهی 61: پروژه: عامل بازی Project: Game Agent
پروژهی ششقدمی: عاملی که بازی چوبکبریت (Nim) را فقط با برد و باخت یاد میگیرد و آخر کار راه بردی را پیدا میکند که هیچکس به او نگفته بود.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم قانونهای یک بازی نوبتی را با تابع بنویسم و بازیکنها را به شکل تابع به بازی بدهم.
- در پایان این جلسه میتوانم یک جدول Q با کلید (حالت، عمل) بسازم و با اپسیلون-حریصانه از آن انتخاب کنم.
- در پایان این جلسه میتوانم پاداش آخر بازی را به همهی حرکتهای عامل برسانم و هزاران بازی آموزش دهم.
- در پایان این جلسه میتوانم درصد برد را قبل و بعد از آموزش مقایسه کنم و الگوی یادگرفته را پیدا کنم.
درس
بازی چوبکبریت (Nim): ۱۰ چوب روی میز است. دو نفر به نوبت ۱، ۲ یا ۳ چوب برمیدارند. هر کس آخرین چوب را بردارد، برنده است. قبل از هر کدی، دو دقیقه با بغلدستیات با ۱۰ مداد یا ۱۰ تکه کاغذ بازی کن. سؤال: آیا ترفندی هست که همیشه ببری؟ جوابش را فعلاً به هیچکس نگو؛ امروز میخواهیم ببینیم عامل خودش آن را پیدا میکند یا نه.
نقشهی شش قدم: ۱) قانونهای بازی، ۲) یک حریف تصادفی، ۳) جدول Q و انتخاب اپسیلون-حریصانه، ۴) یک بازی کامل و یادگیری از نتیجهی آن، ۵) هزاران بازی آموزش و درصد برد قبل و بعد، ۶) چاپ سیاست یادگرفته و پیدا کردن الگو. هر قدم کد قدم قبل را دارد؛ آخر جلسه یک برنامهی کامل داری. فرق مهم با ماز: اینجا بعد از هر حرکت پاداشی نیست؛ فقط آخر بازی معلوم میشود بردی (+1) یا باختی (-1).
بازیکن یعنی یک تابع: تعداد چوبهای باقیمانده را میگیرد و میگوید چند تا برمیدارد. در پایتون میتوانیم خود تابع را (بدون پرانتز) به تابع دیگری بدهیم، مثل اینکه اسم بازیکن را در برگهی مسابقه بنویسی. play_game(take_one, take_most) دو بازیکن را به نوبت صدا میزند و شمارهی برنده را برمیگرداند: 0 یعنی نفر اول، 1 یعنی نفر دوم.
def take_one(sticks):
return 1
def play_game(first, second):
sticks = 10
players = [first, second]
turn = 0
while True:
t = players[turn](sticks) # call whichever player's turn it is
sticks = sticks - t
if sticks <= 0:
return turn
turn = 1 - turn # 0 -> 1 -> 0 -> 1 ...جدول Q این بار دیکشنری است با کلید (sticks, take): «وقتی ۷ چوب مانده و ۳ تا برمیدارم، چقدر خوب است؟». چرا دیکشنری و نه آرایهی numpy؟ چون همهی حرکتها همهجا ممکن نیستند: با ۲ چوب نمیشود ۳ تا برداشت. دیکشنری فقط حرکتهای ممکن را نگه میدارد: ۲۷ خانه.
پاداش فقط آخر بازی میآید، پس چه کسی را تشویق کنیم؟ سادهترین راه: همهی حرکتهای عامل در آن بازی را. مثل تیم فوتبال: وقتی تیم میبرد، همهی بازیکنها کمی اعتمادبهنفس میگیرند، حتی اگر یکی بد بازی کرده باشد. در هزاران بازی، حرکتهای خوب بیشتر در بردها هستند و حرکتهای بد بیشتر در باختها، پس میانگین درست درمیآید. قانون یادگیری همان قدم کوچک همیشگی است: Q[key] += lr * (reward - Q[key]).
history = [(10, 1), (8, 1), (5, 1), (3, 1)] # the agent's moves in one game
reward = -1 # ... and it lost
lr = 0.5
for key in history:
Q[key] += lr * (reward - Q[key]) # every move gets a bit of the blameاندازهگیری منصفانه: موقع اندازهگیری کشف را خاموش میکنیم (epsilon = 0.0) تا ببینیم عامل واقعاً چه یاد گرفته، و در نیمی از بازیها عامل اول بازی میکند و در نیم دیگر حریف. یادت هست جلسهی ۴۸؟ عددی که گزارش میکنی باید از بازیهای زیاد بیاید، نه از یک بازی خوششانس.
و جواب ترفند: همیشه طوری بردار که مضربی از ۴ بماند. اگر ۴ چوب جلوی حریفت باشد، هر چه بردارد (۱، ۲ یا ۳) تو بقیه را برمیداری و میبری. با ۸ هم همین: هر چه بردارد، تو آنقدر برمیداری که جمع دو حرکت ۴ شود. عامل ما این را از هیچ کتابی نخواند؛ فقط از ۵۰۰۰ بار برد و باخت پیدایش کرد. با seed دیگری ممکن است در یکی دو حالت (معمولاً ۱۰ چوب) هنوز اشتباه کند؛ آموزش بیشتر درستش میکند.
⚠️ تقلب با هوش مصنوعی در بازیها: همین ایده در بازیهای آنلاین هم کار میکند و بعضیها ربات میسازند که به جای خودشان بازی کند (بات یا ایمبات). بازی کردن با ربات در برابر آدمهای واقعی تقلب است، با قانون همهی بازیها ممنوع است و حساب کاربری را برای همیشه میبندند. عاملت را فقط در برابر خودت، دوستی که خبر دارد، یا یک ربات دیگر بازی بده.
اگر زود تمام کردی: START را ۱۲ کن و ببین عامل وقتی نفر اول است چه میکند (۱۲ خودش مضرب ۴ است!). یا قانون را عوض کن که ۱ تا ۴ چوب بشود برداشت و حدس بزن الگوی جدید چیست (مضرب ۵؟). یا دو عامل با دو جدول Q بساز و بگذار با هم بازی کنند.
مثالهای این جلسه
- مثال تابع (هوش مصنوعی با پایتون): def take_one(sticks):
- مثال حلقه for (هوش مصنوعی با پایتون): for key in history:
چالشها
- Step 1: The Rules (آسان)
- Step 2: A Random Opponent (آسان)
- Step 3: The Q-Table (متوسط)
- Step 4: Learn from One Game (متوسط)
- Step 5: Train and Measure (سخت)
- Step 6: The Learned Strategy (سخت)
بیشتر بخوان
← جلسهی 60: یادگیری تقویتی ۲ جلسهی 62: پرامپتنویسی پیشرفته ۱ →