بتل کد Battle Codeدارد باز می‌شود…

جواب «The Robot Finds the Cheese» چالش 6 از جلسه‌ی 18

سؤال

حالا یک جدول ۴×۴ روی صفحه! ربات در (0, 0)، پنیر در (3, 3) (+10)، تله در (1, 2) (-10)، هر قدم -1. کشیدن جدول و فلش‌ها و راه رفتن ربات آماده است. در train() جای # choose and learn بنویس:
۱. با احتمال epsilon یک جهت تصادفی از MOVES، وگرنه بهترین جهت با best_action(cell).
۲. خانه‌ی بعد با step(cell, a) (که nxt, reward می‌دهد).
۳. اگر nxt پنیر یا تله است best_next = 0، وگرنه Q[(nxt, best_action(nxt))].
۴. قانون: Q[(cell, a)] += alpha * (reward + best_next - Q[(cell, a)]) و cell = nxt.
اجرا کن: ربات باید از کنار تله به پنیر برسد!

راهنما

if random.random() < epsilon: a = random.choice(list(MOVES)) و else: a = best_action(cell). بعد nxt, reward = step(cell, a).

یک جواب درست

import pgzrun
import random

SIZE = 100
WIDTH = 4 * SIZE
HEIGHT = 4 * SIZE
CHEESE = (3, 3)
TRAP = (1, 2)
MOVES = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}
ARROWS = {"U": "^", "D": "v", "L": "<", "R": ">"}
alpha = 0.5
epsilon = 0.2

Q = {}
for r in range(4):
    for c in range(4):
        for a in MOVES:
            Q[((r, c), a)] = 0.0

def step(cell, a):
    r = min(3, max(0, cell[0] + MOVES[a][0]))
    c = min(3, max(0, cell[1] + MOVES[a][1]))
    nxt = (r, c)
    if nxt == CHEESE:
        return nxt, 10
    if nxt == TRAP:
        return nxt, -10
    return nxt, -1

def best_action(cell):
    best = "U"
    for a in MOVES:
        if Q[(cell, a)] > Q[(cell, best)]:
            best = a
    return best

def train(episodes):
    for e in range(episodes):
        cell = (0, 0)
        for t in range(50):
            if cell == CHEESE or cell == TRAP:
                break
            # choose and learn
            if random.random() < epsilon:
                a = random.choice(list(MOVES))
            else:
                a = best_action(cell)
            nxt, reward = step(cell, a)
            if nxt == CHEESE or nxt == TRAP:
                best_next = 0
            else:
                best_next = Q[(nxt, best_action(nxt))]
            Q[(cell, a)] += alpha * (reward + best_next - Q[(cell, a)])
            cell = nxt

random.seed(1)
train(300)

robot = Actor("robot", (50, 50))
where = (0, 0)

def walk():
    global where
    if where == CHEESE or where == TRAP:
        where = (0, 0)
    else:
        where, reward = step(where, best_action(where))
    robot.pos = (where[1] * SIZE + 50, where[0] * SIZE + 50)

clock.schedule_interval(walk, 0.4)

def draw():
    screen.fill("white")
    for r in range(4):
        for c in range(4):
            box = Rect(c * SIZE, r * SIZE, SIZE, SIZE)
            if (r, c) == CHEESE:
                screen.draw.filled_rect(box, "gold")
            elif (r, c) == TRAP:
                screen.draw.filled_rect(box, "black")
            else:
                screen.draw.text(ARROWS[best_action((r, c))], (c * SIZE + 8, r * SIZE + 5), fontsize=30, color="green")
            screen.draw.rect(box, "gray")
    robot.draw()

pgzrun.go()

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن