جواب «The Good News Walks Back» چالش 4 از جلسهی 18
سؤال
راهروی خانههای 0 تا 4 با پنیر در 4. ربات همیشه به راست میرود. سه دور (اپیزود) اجرا کن: هر دور از s = 0 شروع کن و تا s != 4 است: nxt = s + 1، پاداش 10 اگر nxt == 4 وگرنه -1، بعد Q[s] = Q[s] + alpha * (reward + Q[nxt] - Q[s]) و s = nxt. آخر هر دور چاپ کن episode Q. خروجی:1 {0: -0.5, 1: -0.5, 2: -0.5, 3: 5.0, 4: 0.0}2 {0: -1.0, 1: -1.0, 2: 1.75, 3: 7.5, 4: 0.0}3 {0: -1.5, 1: -0.125, 2: 4.125, 3: 8.75, 4: 0.0}
راهنما
یک while s != 4: داخل حلقهی دورها. پاداش را با if nxt == 4: انتخاب کن.
یک جواب درست
alpha = 0.5
Q = {0: 0.0, 1: 0.0, 2: 0.0, 3: 0.0, 4: 0.0}
for episode in range(3):
s = 0
while s != 4:
nxt = s + 1
if nxt == 4:
reward = 10
else:
reward = -1
Q[s] = Q[s] + alpha * (reward + Q[nxt] - Q[s])
s = nxt
print(episode + 1, Q)
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن