جواب «Follow a Policy» چالش 5 از جلسهی 59
سؤال
تابع follow(policy) را خودت بنویس: از START شروع کند و در هر خانه عملِ policy[state] را انجام دهد، تا وقتی به GOAL برسد یا ۲۰ قدم برود. لیست عملها و پاداش کل را برگرداند. برنامه یک سیاست خوب و یک سیاست بد (که بین دو خانه گیر میکند) را امتحان میکند. خروجی باید این باشد:good: R D D R R | reward 6bad: 20 steps | reward -20
راهنما
state = START و بعد while state != GOAL and len(moves) < 20:؛ داخلش action = policy[state]، آن را به moves اضافه کن، step کن و پاداش را جمع کن.
یک جواب درست
MAZE = [
"S..#",
"#.#.",
"...G",
]
ACTIONS = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}
START, GOAL = (0, 0), (2, 3)
def step(state, action):
r, c = state
dr, dc = ACTIONS[action]
nr, nc = r + dr, c + dc
if 0 <= nr < len(MAZE) and 0 <= nc < len(MAZE[0]) and MAZE[nr][nc] != "#":
return (nr, nc)
return state
def reward(state):
return 10 if state == GOAL else -1
def follow(policy):
moves = []
total = 0
state = START
while state != GOAL and len(moves) < 20:
action = policy[state]
moves.append(action)
state = step(state, action)
total += reward(state)
return moves, total
good = {(0, 0): "R", (0, 1): "D", (1, 1): "D", (2, 1): "R", (2, 2): "R"}
bad = {(0, 0): "R", (0, 1): "R", (0, 2): "L"}
moves, total = follow(good)
print("good:", " ".join(moves), "| reward", total)
moves, total = follow(bad)
print("bad:", len(moves), "steps | reward", total)
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن