جواب «The Update Function» چالش 3 از جلسهی 60
سؤال
تابع update(s, a, r, s2, done) را کامل کن: اگر done بود best_next صفر است، وگرنه np.max(Q[s2])؛ بعد Q[s, a] را با قانون Q-learning بهروز کند. برنامه سه بهروزرسانی روی یک جدول کوچک ۳ در ۲ انجام میدهد و جدول را با tolist() چاپ میکند. خروجی باید این باشد:[[0.0, 2.625], [5.0, 0.0], [5.0, 1.0]]
راهنما
best_next = 0 if done else np.max(Q[s2]) و بعد Q[s, a] += lr * (r + gamma * best_next - Q[s, a]).
یک جواب درست
import numpy as np
lr, gamma = 0.5, 0.9
Q = np.zeros((3, 2))
Q[2] = [5.0, 1.0]
def update(s, a, r, s2, done):
best_next = 0 if done else np.max(Q[s2])
Q[s, a] += lr * (r + gamma * best_next - Q[s, a])
update(0, 1, -1, 2, False)
update(1, 0, 10, 2, True)
update(0, 1, -1, 2, False)
print(Q.tolist())
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن