Train in the Maze چالش 4 از جلسهی 60، متوسط
همهی تابعها آمادهاند. داخل حلقهی while چهار کار را بنویس: شمارهی خانه s = index(state)، انتخاب عمل با choose(s)، یک step و یک update، و بعد steps += 1. برنامه ۲۰۰ اپیزود آموزش میدهد و تعداد قدم چند اپیزود را چاپ میکند. خروجی باید این باشد:episode 1 : 50 stepsepisode 2 : 26 stepsepisode 5 : 9 stepsepisode 10 : 8 stepsepisode 50 : 5 stepsepisode 200 : 7 steps
import random
import numpy as np
MAZE = ["S..#", "#.#.", "...G"]
ROWS, COLS = len(MAZE), len(MAZE[0])
ACTIONS = ["U", "D", "L", "R"]
DELTA = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}
START, GOAL = (0, 0), (2, 3)
lr, gamma, epsilon = 0.5, 0.9, 0.2
Q = np.zeros((ROWS * COLS, 4))
def index(state):
return state[0] * COLS + state[1]
def step(state, a):
r, c = state
dr, dc = DELTA[ACTIONS[a]]
nr, nc = r + dr, c + dc
if not (0 <= nr < ROWS and 0 <= nc < COLS) or MAZE[nr][nc] == "#":
nr, nc = r, c
if (nr, nc) == GOAL:
return (nr, nc), 10, True
return (nr, nc), -1, False
def choose(s):
if random.random() < epsilon:
return random.randrange(4)
return int(np.argmax(Q[s]))
def update(s, a, r, s2, done):
best_next = 0 if done else np.max(Q[s2])
Q[s, a] += lr * (r + gamma * best_next - Q[s, a])
random.seed(0)
for episode in range(1, 201):
state = START
steps = 0
done = False
while not done and steps < 50:
# s, choose, step, update, steps += 1
pass
if episode in (1, 2, 5, 10, 50, 200):
print("episode", episode, ":", steps, "steps")
راهنما و جواب این چالش · برگشت به درس جلسهی 60: یادگیری تقویتی ۲ · چالش بعدی: The Greedy Path
بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال