بتل کد Battle Codeدارد باز می‌شود…

جواب «Train in the Maze» چالش 4 از جلسه‌ی 60

سؤال

همه‌ی تابع‌ها آماده‌اند. داخل حلقه‌ی while چهار کار را بنویس: شماره‌ی خانه s = index(state)، انتخاب عمل با choose(s)، یک step و یک update، و بعد steps += 1. برنامه ۲۰۰ اپیزود آموزش می‌دهد و تعداد قدم چند اپیزود را چاپ می‌کند. خروجی باید این باشد:
episode 1 : 50 steps
episode 2 : 26 steps
episode 5 : 9 steps
episode 10 : 8 steps
episode 50 : 5 steps
episode 200 : 7 steps

راهنما

a = choose(s)، بعد state, r, done = step(state, a) و update(s, a, r, index(state), done). دقت کن s را قبل از step حساب کنی.

یک جواب درست

import random
import numpy as np

MAZE = ["S..#", "#.#.", "...G"]
ROWS, COLS = len(MAZE), len(MAZE[0])
ACTIONS = ["U", "D", "L", "R"]
DELTA = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}
START, GOAL = (0, 0), (2, 3)
lr, gamma, epsilon = 0.5, 0.9, 0.2
Q = np.zeros((ROWS * COLS, 4))


def index(state):
    return state[0] * COLS + state[1]


def step(state, a):
    r, c = state
    dr, dc = DELTA[ACTIONS[a]]
    nr, nc = r + dr, c + dc
    if not (0 <= nr < ROWS and 0 <= nc < COLS) or MAZE[nr][nc] == "#":
        nr, nc = r, c
    if (nr, nc) == GOAL:
        return (nr, nc), 10, True
    return (nr, nc), -1, False


def choose(s):
    if random.random() < epsilon:
        return random.randrange(4)
    return int(np.argmax(Q[s]))


def update(s, a, r, s2, done):
    best_next = 0 if done else np.max(Q[s2])
    Q[s, a] += lr * (r + gamma * best_next - Q[s, a])


random.seed(0)
for episode in range(1, 201):
    state = START
    steps = 0
    done = False
    while not done and steps < 50:
        s = index(state)
        a = choose(s)
        state, r, done = step(state, a)
        update(s, a, r, index(state), done)
        steps += 1
    if episode in (1, 2, 5, 10, 50, 200):
        print("episode", episode, ":", steps, "steps")

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن