بتل کد Battle Codeدارد باز می‌شود…

جواب «The Update Function» چالش 3 از جلسه‌ی 60

سؤال

تابع update(s, a, r, s2, done) را کامل کن: اگر done بود best_next صفر است، وگرنه np.max(Q[s2])؛ بعد Q[s, a] را با قانون Q-learning به‌روز کند. برنامه سه به‌روزرسانی روی یک جدول کوچک ۳ در ۲ انجام می‌دهد و جدول را با tolist() چاپ می‌کند. خروجی باید این باشد:
[[0.0, 2.625], [5.0, 0.0], [5.0, 1.0]]

راهنما

best_next = 0 if done else np.max(Q[s2]) و بعد Q[s, a] += lr * (r + gamma * best_next - Q[s, a]).

یک جواب درست

import numpy as np

lr, gamma = 0.5, 0.9
Q = np.zeros((3, 2))
Q[2] = [5.0, 1.0]


def update(s, a, r, s2, done):
    best_next = 0 if done else np.max(Q[s2])
    Q[s, a] += lr * (r + gamma * best_next - Q[s, a])


update(0, 1, -1, 2, False)
update(1, 0, 10, 2, True)
update(0, 1, -1, 2, False)
print(Q.tolist())

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن