بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 20: پروژه: بازی‌ای که خودش یاد می‌گیرد Project: A Game That Learns to Play

یک دونده‌ی ساده که سنگی به سمتش می‌آید و می‌تواند بپرد یا صبر کند؛ با حالت، جدول Q، کنجکاوی و ۲۰۰ دور تمرین سریع، خودش یاد می‌گیرد کی بپرد، و نمودار امتیازش را می‌بینیم.

در این جلسه یاد می‌گیری

درس

پروژه‌ی امروز: ربات 🤖 روی زمین ایستاده و یک سنگ از راست به سمتش می‌آید. هر لحظه دو کار می‌تواند بکند: "jump" (بپرد) یا "wait" (صبر کند). پرش فقط وقتی از روی سنگ رد می‌شود که سنگ خیلی نزدیک باشد. هیچ‌کس به ربات نمی‌گوید کی بپرد؛ خودش با پاداش یاد می‌گیرد، مثل سگی که با تشویقی یاد می‌گیرد.

قانون بازی: سنگ از فاصله‌ی ۱۰ شروع می‌کند و هر قدم یکی نزدیک‌تر می‌شود. اگر فاصله ۰ شد و ربات روی زمین بود: تصادف و پاداش -10. پرش در فاصله‌ی ۱ یا ۲: رد شد و +10. پرش زودتر: ربات بی‌خود می‌پرد، سنگ ۲ قدم جلو می‌آید و پاداش -1 (خسته شد). تابع simulate همین را برمی‌گرداند: فاصله‌ی تازه، پاداش، و این‌که دور تمام شد یا نه.

حالت یعنی چیزی که ربات برای تصمیم می‌بیند. به جای ۱۰ فاصله، آن‌ها را در ۵ دسته می‌ریزیم: فاصله‌ی ۱ و ۲ دسته‌ی ۰، فاصله‌ی ۳ و ۴ دسته‌ی ۱ و… تا ۹ و ۱۰ دسته‌ی ۴. فرمولش (dist - 1) // 2 است. مثل نمره‌ی «خیلی خوب، خوب، قابل قبول»: جدول کوچک‌تر یعنی یادگیری سریع‌تر.

for dist in range(1, 11):
    print("distance", dist, "-> state", (dist - 1) // 2)

یک ترفند بازی: clock.schedule_interval(tick, 0.5) تابع tick را هر نیم ثانیه صدا می‌زند؛ پس بازی قدم‌به‌قدم جلو می‌رود و تو می‌بینی. ولی تمرین را بدون نقاشی انجام می‌دهیم: ۲۰۰ دور در یک حلقه‌ی معمولی، که کمتر از یک ثانیه طول می‌کشد. بعد پنجره باز می‌شود و ربات با جدول یادگرفته بازی می‌کند. در تمرین، کنجکاوی جلسه‌ی ۱۹ (epsilon) هم به کار می‌آید: گاهی کار تصادفی، تا ربات هر دو کار را در هر حالت امتحان کند.

بازی بدون کامپیوتر: یک نفر «ربات» است و چشمش بسته. معلم با قدم‌هایش به او نزدیک می‌شود و فقط می‌گوید «دور، نزدیک، خیلی نزدیک». ربات می‌گوید «بپر» یا «صبر». کلاس پاداش را بلند می‌گوید (+۱۰، −۱، −۱۰) و یک نفر در جدول روی تخته برای هر حالت می‌نویسد کدام کار بهتر بوده. بعد از ۵ دور، ربات از روی جدول بازی می‌کند.

⚠️ ربات فقط همان بازی را بلد است. اگر سرعت سنگ عوض شود یا دو سنگ پشت هم بیاید، جدولش دیگر درست نیست و باید دوباره تمرین کند. هوش مصنوعی‌ای که در یک موقعیت عالی است، در موقعیت تازه ممکن است خیلی بد باشد؛ کورکورانه به آن اعتماد نکن. وقتی بازی را در گالری می‌گذاری، در برچسب صداقت بنویس کدام بخش‌ها را خودت عوض کردی.

مثال‌های این جلسه

چالش‌ها

  1. Step 1: States and Rules (آسان)
  2. Step 2: The Experience Notebook (متوسط)
  3. Step 3: Practise Fast, Then Watch (متوسط)
  4. Step 4: The Learning Chart and My Change (سخت)

بیشتر بخوان

← جلسه‌ی 19: کنجکاوی یا تکرار؟ جلسه‌ی 21: از بازیکن یاد بگیر →