جواب «Learn the Corridor» چالش 5 از جلسهی 18
سؤال
راهروی 0 تا 5: تله در 0 (-10)، پنیر در 5 (+10)، هر قدم دیگر -1. ربات از 2 شروع میکند و میتواند -1 (چپ) یا 1 (راست) برود. داخل حلقه دو تکه را بنویس:
۱. انتخاب: اگر random.random() < epsilon جهت تصادفی با random.choice([-1, 1])؛ وگرنه اگر Q[(s, 1)] >= Q[(s, -1)] راست، وگرنه چپ.
۲. یادگیری: best_next بزرگترِ دو حدس خانهی nxt، و Q[(s, a)] += alpha * (reward + best_next - Q[(s, a)]).
آخر برنامه جهت بهتر هر خانه و قدمهای دور آخر را چاپ میکند. خروجی:1 right2 right3 right4 rightlast episode steps: 3
راهنما
انتخاب را جای a = 1 بنویس (یک if/elif/else). یادگیری درست قبل از s = nxt میآید: best_next = max(Q[(nxt, -1)], Q[(nxt, 1)]).
یک جواب درست
import random
random.seed(5)
alpha = 0.5
epsilon = 0.2
Q = {}
for s in range(6):
Q[(s, -1)] = 0.0
Q[(s, 1)] = 0.0
for episode in range(40):
s = 2
steps = 0
while s != 0 and s != 5:
if random.random() < epsilon:
a = random.choice([-1, 1])
elif Q[(s, 1)] >= Q[(s, -1)]:
a = 1
else:
a = -1
nxt = s + a
if nxt == 5:
reward = 10
elif nxt == 0:
reward = -10
else:
reward = -1
best_next = max(Q[(nxt, -1)], Q[(nxt, 1)])
Q[(s, a)] += alpha * (reward + best_next - Q[(s, a)])
s = nxt
steps += 1
for s in range(1, 5):
if Q[(s, 1)] >= Q[(s, -1)]:
print(s, "right")
else:
print(s, "left")
print("last episode steps:", steps)
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن