جواب «The Greedy Path» چالش 5 از جلسهی 60
سؤال
آموزش آماده است. تابع greedy_path() را خودت بنویس: از START شروع کند و در هر خانه بهترین عمل جدول (np.argmax) را بردارد، اسم عمل را به لیست اضافه کند و step کند، تا وقتی به GOAL برسد یا لیست ۲۰ عمل شود. لیست را برگرداند. خروجی باید این باشد:['R', 'D', 'D', 'R', 'R']5 moves
راهنما
state = START و while state != GOAL and len(path) < 20:؛ داخلش a = int(np.argmax(Q[index(state)]))، path.append(ACTIONS[a]) و state, r, done = step(state, a).
یک جواب درست
import random
import numpy as np
MAZE = ["S..#", "#.#.", "...G"]
ROWS, COLS = len(MAZE), len(MAZE[0])
ACTIONS = ["U", "D", "L", "R"]
DELTA = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}
START, GOAL = (0, 0), (2, 3)
lr, gamma, epsilon = 0.5, 0.9, 0.2
Q = np.zeros((ROWS * COLS, 4))
def index(state):
return state[0] * COLS + state[1]
def step(state, a):
r, c = state
dr, dc = DELTA[ACTIONS[a]]
nr, nc = r + dr, c + dc
if not (0 <= nr < ROWS and 0 <= nc < COLS) or MAZE[nr][nc] == "#":
nr, nc = r, c
if (nr, nc) == GOAL:
return (nr, nc), 10, True
return (nr, nc), -1, False
random.seed(0)
for episode in range(200):
state, steps, done = START, 0, False
while not done and steps < 50:
s = index(state)
a = random.randrange(4) if random.random() < epsilon else int(np.argmax(Q[s]))
state, r, done = step(state, a)
best_next = 0 if done else np.max(Q[index(state)])
Q[s, a] += lr * (r + gamma * best_next - Q[s, a])
steps += 1
def greedy_path():
path = []
state = START
while state != GOAL and len(path) < 20:
a = int(np.argmax(Q[index(state)]))
path.append(ACTIONS[a])
state, r, done = step(state, a)
return path
path = greedy_path()
print(path)
print(len(path), "moves")
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن