جلسهی 18: ربات و پنیر The Robot and the Cheese
یادگیری Q به زبان ساده: ربات برای هر خانه و هر جهت یک حدس دارد و بعد از هر قدم، «حدس قبلی را کمی به سمت چیزی که واقعاً شد میبرد». اول در یک راهرو، بعد در یک جدول کوچک.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانی قانون یادگیری Q را به زبان ساده بگویی.
- میدانی نرخ یادگیری α و یک دور (اپیزود) یعنی چه.
- میتوانی جدول Q یک راهرو را با دیکشنری بسازی و آموزش بدهی.
- میتوانی رباتی بسازی که در یک جدول روی صفحه، راه پنیر را خودش یاد بگیرد.
درس
ربات 🤖 بالا-چپ است و پنیر 🧀 پایین-راست (+10). یک تله 🕳️ هم هست (-10) و هر قدم -1 میارزد. اول حدس بزن: ربات چند دور لازم دارد تا راه را یاد بگیرد؟ «یک قدم» را چند بار بزن و فلشهای کوچک هر خانه را نگاه کن. بعد «یک دور» و آخر «۵۰ دور». حالا «از اول» بزن، α را 0.1 کن و دوباره ۵۰ دور: تندتر یاد گرفت یا کندتر؟
ربات یک دفترچهی تجربه دارد: برای هر خانه و هر جهت، یک عدد که حدس میزند «اگر از اینجا به آن طرف بروم، آخرش چقدر خوب میشود». به این دفترچه جدول Q میگویند. فرقش با مهرههای چوبکبریت: اینجا ربات بعد از هر قدم یاد میگیرد، نه فقط آخر بازی. کلید دیکشنری یک جفت است: Q[(cell, "R")].
قانون یادگیری در یک جمله: حدس قبلی را کمی به سمت چیزی که واقعاً شد ببر. مثل حدس زمان رسیدن به مدرسه: فکر میکردی ۲۰ دقیقه، شد ۳۰. دفعهی بعد نه ۲۰ میگویی نه ۳۰، میگویی ۲۵. آن «کمی» اسمش نرخ یادگیری alpha است (بین ۰ و ۱). «چیزی که واقعاً شد» = پاداش همین قدم + بهترین حدس خانهی بعدی.
guess = 20
really = 30
alpha = 0.5
guess = guess + alpha * (really - guess)
print("new guess:", guess)اول یک راهرو یکبعدی: خانههای 0 تا 4، پنیر در 4. از 0 شروع کن و آنقدر راه برو تا به پنیر برسی؛ این یک دور (اپیزود) است. بعد دوباره از اول. ببین خبر خوب پنیر، دور به دور یک خانه عقبتر میآید! برای کنجکاوی، گاهی (random.random() < epsilon) یک جهت تصادفی امتحان میکنیم؛ random.random() عددی بین ۰ و ۱ میدهد.
alpha = 0.5
Q = {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}
for episode in range(3):
s = 0
while s != 4:
if s + 1 == 4:
reward = 10
else:
reward = -1
Q[s] = Q[s] + alpha * (reward + Q[s + 1] - Q[s])
s = s + 1
print(episode + 1, Q)بازی بدون کامپیوتر: با چسب کاغذی یک جدول ۴×۴ روی کف کلاس بکشید. یک کتاب پنیر است، یک کیف تله. یک نفر چشمبسته روی خانهی شروع میایستد. با هر قدمش کلاس میگوید «منفی یک»، روی تله «منفی ده» و روی پنیر «ده!». یک «منشی» در دفترچه برای هر خانه و جهت عدد مینویسد و قانون «کمی به سمت چیزی که شد» را اجرا میکند. دورهای بعد، راهنما فقط از روی دفترچه بگوید کدام طرف برود.
⚠️ ربات دقیقاً پاداش را دنبال میکند، نه منظور تو را. در یک آزمایش واقعی، قایق یک بازی مسابقه به جای تمام کردن مسابقه یاد گرفت دور خودش بچرخد و همان چند امتیاز را بارها بگیرد! اگر پاداش را بد بنویسی، هوش مصنوعی راه کج را پیدا میکند. پس همیشه تماشا کن چه یاد گرفته؛ به عدد «یاد گرفت» تنها اعتماد نکن.
در پروژه: در جلسهی ۲۰ همین جدول Q و همین قانون در یک بازی دونده مینشیند: حالت = فاصله تا مانع، حرکت = بپر یا نپر. جلسهی بعد یاد میگیری کنجکاوی epsilon را چقدر بگذاری تا ربات هم چیز تازه امتحان کند و هم از تجربهاش استفاده کند.
مثالهای این جلسه
- مثال متغیر در پایتون: guess = 20
- مثال دیکشنری در پایتون: Q = {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}
چالشها
- Nudge the Guess (آسان)
- What Does Alpha Do? (آسان)
- One Q Update (متوسط)
- The Good News Walks Back (متوسط)
- Learn the Corridor (سخت)
- The Robot Finds the Cheese (سخت)