Learn the Corridor چالش 5 از جلسهی 18، سخت
راهروی 0 تا 5: تله در 0 (-10)، پنیر در 5 (+10)، هر قدم دیگر -1. ربات از 2 شروع میکند و میتواند -1 (چپ) یا 1 (راست) برود. داخل حلقه دو تکه را بنویس:
۱. انتخاب: اگر random.random() < epsilon جهت تصادفی با random.choice([-1, 1])؛ وگرنه اگر Q[(s, 1)] >= Q[(s, -1)] راست، وگرنه چپ.
۲. یادگیری: best_next بزرگترِ دو حدس خانهی nxt، و Q[(s, a)] += alpha * (reward + best_next - Q[(s, a)]).
آخر برنامه جهت بهتر هر خانه و قدمهای دور آخر را چاپ میکند. خروجی:1 right2 right3 right4 rightlast episode steps: 3
import random
random.seed(5)
alpha = 0.5
epsilon = 0.2
Q = {}
for s in range(6):
Q[(s, -1)] = 0.0
Q[(s, 1)] = 0.0
for episode in range(40):
s = 2
steps = 0
while s != 0 and s != 5:
a = 1
nxt = s + a
if nxt == 5:
reward = 10
elif nxt == 0:
reward = -10
else:
reward = -1
s = nxt
steps += 1
for s in range(1, 5):
if Q[(s, 1)] >= Q[(s, -1)]:
print(s, "right")
else:
print(s, "left")
print("last episode steps:", steps)
راهنما و جواب این چالش · برگشت به درس جلسهی 18: ربات و پنیر · چالش بعدی: The Robot Finds the Cheese
بیشتر بخوان: حلقه while در پایتون: آموزش با مثال و بازی حدس عدد