بتل کد Battle Codeدارد باز می‌شود…

Learn the Corridor چالش 5 از جلسه‌ی 18، سخت

راهروی 0 تا 5: تله در 0 (-10)، پنیر در 5 (+10)، هر قدم دیگر -1. ربات از 2 شروع می‌کند و می‌تواند -1 (چپ) یا 1 (راست) برود. داخل حلقه دو تکه را بنویس:
۱. انتخاب: اگر random.random() < epsilon جهت تصادفی با random.choice([-1, 1])؛ وگرنه اگر Q[(s, 1)] >= Q[(s, -1)] راست، وگرنه چپ.
۲. یادگیری: best_next بزرگ‌ترِ دو حدس خانه‌ی nxt، و Q[(s, a)] += alpha * (reward + best_next - Q[(s, a)]).
آخر برنامه جهت بهتر هر خانه و قدم‌های دور آخر را چاپ می‌کند. خروجی:
1 right
2 right
3 right
4 right
last episode steps: 3

import random
random.seed(5)
alpha = 0.5
epsilon = 0.2
Q = {}
for s in range(6):
    Q[(s, -1)] = 0.0
    Q[(s, 1)] = 0.0

for episode in range(40):
    s = 2
    steps = 0
    while s != 0 and s != 5:
        a = 1
        nxt = s + a
        if nxt == 5:
            reward = 10
        elif nxt == 0:
            reward = -10
        else:
            reward = -1
        s = nxt
        steps += 1

for s in range(1, 5):
    if Q[(s, 1)] >= Q[(s, -1)]:
        print(s, "right")
    else:
        print(s, "left")
print("last episode steps:", steps)

راهنما و جواب این چالش · برگشت به درس جلسه‌ی 18: ربات و پنیر · چالش بعدی: The Robot Finds the Cheese

بیشتر بخوان: حلقه while در پایتون: آموزش با مثال و بازی حدس عدد