مثال متغیر (هوش مصنوعی با پایتون): old = 0.0 # Q[s, a] before
مثال 3 از درس جلسهی 60 آموزش هوش مصنوعی برای نوجوانان با پایتون: یادگیری تقویتی ۲
قانون Q-learning به زبان ساده: «حدست را کمی به سمت چیزی ببر که واقعاً اتفاق افتاد، بهعلاوهی بهترین حدس از خانهی بعدی». یعنی هدف = پاداشی که همین الان گرفتی + gamma × بهترین عدد خانهی بعد. فاصلهی حدس قبلی تا هدف را حساب میکنیم و فقط بخشی از آن (نرخ یادگیری lr) را جلو میرویم، همان قدم کوچک گرادیان کاهشی. اگر خانهی بعد هدف بازی باشد، آیندهای ندارد و هدف فقط خود پاداش است.
lr, gamma = 0.5, 0.9
old = 0.0 # Q[s, a] before
r = -1 # what really happened: one step
best_next = 4.0 # max(Q[s2]): the best guess from the next cell
target = r + gamma * best_next
new = old + lr * (target - old)
print(round(target, 2), round(new, 2)) # 2.6 1.3
# Q[s, a] += lr * (r + gamma * np.max(Q[s2]) - Q[s, a])
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: متغیر در پایتون: تعریف، نامگذاری و تغییر مقدار با مثال
← مثال قبلی · برگشت به درس جلسهی 60: یادگیری تقویتی ۲ · مثال بعدی → · چالشهای این جلسه