بتل کد Battle Codeدارد باز می‌شود…

جواب «Learn the Corridor» چالش 5 از جلسه‌ی 18

سؤال

راهروی 0 تا 5: تله در 0 (-10)، پنیر در 5 (+10)، هر قدم دیگر -1. ربات از 2 شروع می‌کند و می‌تواند -1 (چپ) یا 1 (راست) برود. داخل حلقه دو تکه را بنویس:
۱. انتخاب: اگر random.random() < epsilon جهت تصادفی با random.choice([-1, 1])؛ وگرنه اگر Q[(s, 1)] >= Q[(s, -1)] راست، وگرنه چپ.
۲. یادگیری: best_next بزرگ‌ترِ دو حدس خانه‌ی nxt، و Q[(s, a)] += alpha * (reward + best_next - Q[(s, a)]).
آخر برنامه جهت بهتر هر خانه و قدم‌های دور آخر را چاپ می‌کند. خروجی:
1 right
2 right
3 right
4 right
last episode steps: 3

راهنما

انتخاب را جای a = 1 بنویس (یک if/elif/else). یادگیری درست قبل از s = nxt می‌آید: best_next = max(Q[(nxt, -1)], Q[(nxt, 1)]).

یک جواب درست

import random
random.seed(5)
alpha = 0.5
epsilon = 0.2
Q = {}
for s in range(6):
    Q[(s, -1)] = 0.0
    Q[(s, 1)] = 0.0

for episode in range(40):
    s = 2
    steps = 0
    while s != 0 and s != 5:
        if random.random() < epsilon:
            a = random.choice([-1, 1])
        elif Q[(s, 1)] >= Q[(s, -1)]:
            a = 1
        else:
            a = -1
        nxt = s + a
        if nxt == 5:
            reward = 10
        elif nxt == 0:
            reward = -10
        else:
            reward = -1
        best_next = max(Q[(nxt, -1)], Q[(nxt, 1)])
        Q[(s, a)] += alpha * (reward + best_next - Q[(s, a)])
        s = nxt
        steps += 1

for s in range(1, 5):
    if Q[(s, 1)] >= Q[(s, -1)]:
        print(s, "right")
    else:
        print(s, "left")
print("last episode steps:", steps)

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن