جواب «The Robot Finds the Cheese» چالش 6 از جلسهی 18
سؤال
حالا یک جدول ۴×۴ روی صفحه! ربات در (0, 0)، پنیر در (3, 3) (+10)، تله در (1, 2) (-10)، هر قدم -1. کشیدن جدول و فلشها و راه رفتن ربات آماده است. در train() جای # choose and learn بنویس:
۱. با احتمال epsilon یک جهت تصادفی از MOVES، وگرنه بهترین جهت با best_action(cell).
۲. خانهی بعد با step(cell, a) (که nxt, reward میدهد).
۳. اگر nxt پنیر یا تله است best_next = 0، وگرنه Q[(nxt, best_action(nxt))].
۴. قانون: Q[(cell, a)] += alpha * (reward + best_next - Q[(cell, a)]) و cell = nxt.
اجرا کن: ربات باید از کنار تله به پنیر برسد!
راهنما
if random.random() < epsilon: a = random.choice(list(MOVES)) و else: a = best_action(cell). بعد nxt, reward = step(cell, a).
یک جواب درست
import pgzrun
import random
SIZE = 100
WIDTH = 4 * SIZE
HEIGHT = 4 * SIZE
CHEESE = (3, 3)
TRAP = (1, 2)
MOVES = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}
ARROWS = {"U": "^", "D": "v", "L": "<", "R": ">"}
alpha = 0.5
epsilon = 0.2
Q = {}
for r in range(4):
for c in range(4):
for a in MOVES:
Q[((r, c), a)] = 0.0
def step(cell, a):
r = min(3, max(0, cell[0] + MOVES[a][0]))
c = min(3, max(0, cell[1] + MOVES[a][1]))
nxt = (r, c)
if nxt == CHEESE:
return nxt, 10
if nxt == TRAP:
return nxt, -10
return nxt, -1
def best_action(cell):
best = "U"
for a in MOVES:
if Q[(cell, a)] > Q[(cell, best)]:
best = a
return best
def train(episodes):
for e in range(episodes):
cell = (0, 0)
for t in range(50):
if cell == CHEESE or cell == TRAP:
break
# choose and learn
if random.random() < epsilon:
a = random.choice(list(MOVES))
else:
a = best_action(cell)
nxt, reward = step(cell, a)
if nxt == CHEESE or nxt == TRAP:
best_next = 0
else:
best_next = Q[(nxt, best_action(nxt))]
Q[(cell, a)] += alpha * (reward + best_next - Q[(cell, a)])
cell = nxt
random.seed(1)
train(300)
robot = Actor("robot", (50, 50))
where = (0, 0)
def walk():
global where
if where == CHEESE or where == TRAP:
where = (0, 0)
else:
where, reward = step(where, best_action(where))
robot.pos = (where[1] * SIZE + 50, where[0] * SIZE + 50)
clock.schedule_interval(walk, 0.4)
def draw():
screen.fill("white")
for r in range(4):
for c in range(4):
box = Rect(c * SIZE, r * SIZE, SIZE, SIZE)
if (r, c) == CHEESE:
screen.draw.filled_rect(box, "gold")
elif (r, c) == TRAP:
screen.draw.filled_rect(box, "black")
else:
screen.draw.text(ARROWS[best_action((r, c))], (c * SIZE + 8, r * SIZE + 5), fontsize=30, color="green")
screen.draw.rect(box, "gray")
robot.draw()
pgzrun.go()
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن