بتل کد Battle Codeدارد باز می‌شود…

جواب «The Good News Walks Back» چالش 4 از جلسه‌ی 18

سؤال

راهروی خانه‌های 0 تا 4 با پنیر در 4. ربات همیشه به راست می‌رود. سه دور (اپیزود) اجرا کن: هر دور از s = 0 شروع کن و تا s != 4 است: nxt = s + 1، پاداش 10 اگر nxt == 4 وگرنه -1، بعد Q[s] = Q[s] + alpha * (reward + Q[nxt] - Q[s]) و s = nxt. آخر هر دور چاپ کن episode Q. خروجی:
1 {0: -0.5, 1: -0.5, 2: -0.5, 3: 5.0, 4: 0.0}
2 {0: -1.0, 1: -1.0, 2: 1.75, 3: 7.5, 4: 0.0}
3 {0: -1.5, 1: -0.125, 2: 4.125, 3: 8.75, 4: 0.0}

راهنما

یک while s != 4: داخل حلقه‌ی دورها. پاداش را با if nxt == 4: انتخاب کن.

یک جواب درست

alpha = 0.5
Q = {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}
for episode in range(3):
    s = 0
    while s != 4:
        nxt = s + 1
        if nxt == 4:
            reward = 10
        else:
            reward = -1
        Q[s] = Q[s] + alpha * (reward + Q[nxt] - Q[s])
        s = nxt
    print(episode + 1, Q)

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن