Step 2: The Experience Notebook چالش 2 از جلسهی 20، متوسط
قدم ۲. حالا ربات خودش تصمیم بگیرد. اضافه کن:
- alpha = 0.5 و جدول Q: برای هر حالت ۰ تا ۴ یک دیکشنری {"jump": 0, "wait": 0}.
- best_action(s): اگر Q[s]["jump"] > Q[s]["wait"] بود "jump"، وگرنه "wait".
- learn(s, action, reward, new_dist, done): هدف target = reward است؛ اگر دور تمام نشده، بهترین عدد حالت بعد هم به آن اضافه شود. بعد Q[s][action] += alpha * (target - Q[s][action]).
در tick به جای قانون dist <= 2 از best_action استفاده کن و بعد از simulate تابع learn را صدا بزن. جدول را هم روی صفحه بنویس. ببین چند دور طول میکشد تا یاد بگیرد!
import pgzrun
WIDTH = 600
HEIGHT = 300
TITLE = "Learning Runner"
dist = 10
jumping = False
message = ""
runner = Actor("robot", (80, 200))
rock = Actor("rock", (530, 200))
def state_of(dist):
return (dist - 1) // 2
def simulate(dist, action):
if action == "jump":
if dist <= 2:
return 0, 10, True
return dist - 2, -1, False
dist = dist - 1
if dist == 0:
return 0, -10, True
return dist, 0, False
def tick():
global dist, jumping, message
if dist <= 2:
action = "jump"
else:
action = "wait"
jumping = action == "jump"
dist, reward, done = simulate(dist, action)
if done:
message = "cleared!" if reward > 0 else "crash!"
dist = 10
def draw():
screen.fill("skyblue")
screen.draw.filled_rect(Rect(0, 225, 600, 75), "darkgreen")
runner.y = 130 if jumping else 200
rock.x = 80 + dist * 45
runner.draw()
rock.draw()
screen.draw.text("distance: " + str(dist) + " state: " + str(state_of(dist)), (10, 10), fontsize=28, color="black")
screen.draw.text(message, (10, 40), fontsize=28, color="darkred")
clock.schedule_interval(tick, 0.5)
pgzrun.go()
راهنما و جواب این چالش · برگشت به درس جلسهی 20: پروژه: بازیای که خودش یاد میگیرد · چالش بعدی: Step 3: Practise Fast, Then Watch
بیشتر بخوان: بازیسازی با پایتون و Pygame Zero