بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 19: کنجکاوی یا تکرار؟ Explore or Repeat?

یک یادگیرنده باید گاهی چیز تازه امتحان کند و گاهی از بهترین چیزی که می‌شناسد استفاده کند؛ با یک عدد کنجکاوی (ε) این دو را تنظیم می‌کنیم و کم‌کم کنجکاوی را پایین می‌آوریم.

در این جلسه یاد می‌گیری

درس

اسباب‌بازی امروز: بوفه‌ی مدرسه. سه غذا هست: ساندویچ، پیتزا و سوپ. ربات هر روز یکی را می‌خرد و خوشمزگی‌اش را می‌چشد، ولی نمی‌داند کدام واقعاً بهتر است. حدس بزن: اگر اسلایدر «کنجکاوی» را روی ۰٪ بگذاری و «۱۰۰ روز» را بزنی، ربات بهترین غذا را پیدا می‌کند؟ بعد امتحان کن. بعد ۱۰٪ و ۱۰۰٪ را هم بزن و ببین کدام بیشترین «شادی کل» را می‌دهد.

در بوفه هر روز دو راه داری: همان غذایی را بخری که می‌دانی خوب است (استفاده)، یا یک غذای تازه را امتحان کنی. اگر هیچ‌وقت امتحان نکنی، شاید هرگز نفهمی پیتزا از ساندویچ بهتر است. اگر همیشه امتحان کنی، خیلی روزها سوپی می‌خوری که دوست نداری. ربات هم همین مشکل را دارد.

عدد کنجکاوی را epsilon (اپسیلون، ε) می‌نامیم: عددی بین ۰ و ۱. random.random() هر بار یک عدد تصادفی بین ۰ و ۱ می‌دهد. اگر آن عدد از epsilon کوچک‌تر بود، امتحان می‌کنیم؛ وگرنه بهترین را برمی‌داریم. با epsilon = 0.1 تقریباً یک روز از ده روز امتحان می‌کنیم.

import random
epsilon = 0.1
for day in range(10):
    if random.random() < epsilon:
        print("day", day, "explore: try a random food")
    else:
        print("day", day, "repeat: take the best food")

ربات از کجا می‌داند «بهترین» کدام است؟ برای هر غذا جمع خوشمزگی‌ها و تعداد روزها را نگه می‌دارد؛ حدسش میانگین است: جمع تقسیم بر تعداد. یادت هست در جلسه‌ی ۱۸ «حدس قبلی کمی به سمت چیزی که واقعاً شد می‌رفت»؟ میانگین هم همین کار را می‌کند: هر روز تازه، حدس را کمی جابه‌جا می‌کند.

total = {"pizza": 0}
count = {"pizza": 0}
for taste in [9, 6, 8]:
    total["pizza"] += taste
    count["pizza"] += 1
    print("pizza guess:", total["pizza"] / count["pizza"])

اولین هفته در یک مدرسه‌ی تازه همه‌چیز بوفه را امتحان می‌کنی؛ ماه بعد بیشتر همان غذای محبوبت را می‌خری. ربات هم باید کنجکاوی را کم‌کم کم کند: هر روز epsilon را در عددی مثل 0.9 ضرب می‌کنیم، ولی نمی‌گذاریم از 0.05 پایین‌تر برود (با max)، تا اگر بوفه عوض شد، باز چیزی امتحان کند.

epsilon = 1.0
for day in range(1, 11):
    print("day", day, "epsilon", round(epsilon, 2))
    epsilon = max(0.05, epsilon * 0.7)

بازی بدون کامپیوتر (یک هفته، هر روز اول کلاس): معلم سه جعبه‌ی «خوراکی» الف، ب و پ دارد که امتیاز پنهانشان (مثلاً ۶، ۸ و ۴) در یک پاکت است. هر روز کلاس رأی می‌دهد کدام باز شود و معلم امتیاز آن روز را می‌گوید (امتیاز پنهان، با یک تاس کمی بالا و پایین). نیمی از کلاس «همیشه تکرار» است، نیمی «اگر تاس ۱ آمد، تصادفی». آخر هفته: کدام گروه بهترین جعبه را پیدا کرد؟

⚠️ کنجکاوی صفر در دنیای واقعی: بعضی برنامه‌ها فقط چیزی را نشانت می‌دهند که قبلاً دوست داشتی؛ کم‌کم فقط یک جور ویدیو و یک جور نظر می‌بینی. گاهی خودت چیز تازه امتحان کن. و یادت باشد: با دو سه روز چشیدن نمی‌شود درباره‌ی یک غذا (یا یک آدم) قضاوت قطعی کرد. در پروژه‌ی جلسه‌ی بعد، دونده‌ی ما هنگام تمرین از همین epsilon استفاده می‌کند و روی نمودارش می‌بینی کنجکاوی چه هزینه‌ای دارد.

مثال‌های این جلسه

چالش‌ها

  1. Stuck on the Sandwich (آسان)
  2. Explore or Repeat (آسان)
  3. Which Food Is Best? (متوسط)
  4. Average Taste (متوسط)
  5. One Hundred Days at the Buffet (سخت)
  6. Less Curious Every Day (سخت)

بیشتر بخوان

← جلسه‌ی 18: ربات و پنیر جلسه‌ی 20: پروژه: بازی‌ای که خودش یاد می‌گیرد →