جلسهی 59: یادگیری تقویتی ۱ Reinforcement Learning 1
به جای جواب درست، پاداش! یک ماز کوچک با متن میسازیم، با turtle میکشیمش و عاملی را در آن راه میاندازیم که با قدم زدن و گرفتن امتیاز کار میکند.
در این جلسه یاد میگیری
- در پایان این جلسه میدانم یادگیری تقویتی با یادگیری از برچسب چه فرقی دارد.
- در پایان این جلسه میتوانم حالت، عمل، پاداش، اپیزود و سیاست را با مثال بازی توضیح دهم.
- در پایان این جلسه میتوانم یک ماز متنی بسازم، حرکت با دیوار را بنویسم و یک عامل تصادفی را در آن اجرا کنم.
- در پایان این جلسه میتوانم پاداش کل و بازده تخفیفخوردهی یک مسیر را حساب کنم.
درس
تا امروز همهی مدلهایمان با جواب درست یاد میگرفتند: هر عکس رقم برچسب داشت، هر پیام «هرز» یا «سالم» بود. اما وقتی به سگت یاد میدهی بنشیند، جواب درست را برایش نمینویسی؛ هر بار نشست یک تشویقی میگیرد. در بازی کامپیوتری هم کسی نمیگوید کدام دکمه را بزن؛ فقط امتیاز بالا و پایین میرود و تو کمکم یاد میگیری. به این یادگیری تقویتی (reinforcement learning) میگویند: یادگیری با پاداش به جای برچسب.
پنج کلمهی اصلی، با مثال یک بازی ماز: حالت (state) = الان کجای ماز هستم، مثلاً خانهی (0, 1). عمل (action) = کاری که میتوانم بکنم: بالا، پایین، چپ، راست. پاداش (reward) = عددی که بعد از هر عمل میگیرم. اپیزود (episode) = یک دست کامل بازی، از شروع تا رسیدن به هدف (یا تمام شدن وقت). سیاست (policy) = قانون من: در هر حالت کدام عمل را انتخاب کنم. کل هدف یادگیری تقویتی: پیدا کردن سیاستی که پاداش کل را بیشتر کند.
ماز ما فقط چند رشته است: S شروع، G هدف، # دیوار و . راه. خانهها را مثل جلسهی ۱۱ با (سطر، ستون) نام میبریم و شمارش از صفر است. تابع find یک حرف را در ماز پیدا میکند.
MAZE = [
"S..#",
"#.#.",
"...G",
]
def find(ch):
for r in range(len(MAZE)):
for c in range(len(MAZE[r])):
if MAZE[r][c] == ch:
return (r, c)
START = find("S")
GOAL = find("G")
print(START, GOAL) # (0, 0) (2, 3)
for row in MAZE:
print(row)حرکت: هر عمل یک جابهجایی است؛ U یعنی یک سطر بالا (-1, 0) و R یعنی یک ستون راست (0, 1). اگر خانهی جدید بیرون از ماز یا دیوار باشد، مثل بازیها عامل سر جایش میماند. پاداش هم ساده است: رسیدن به هدف +10، هر قدم دیگر -1. آن -1 میگوید «عجله کن»؛ هر قدم اضافه گران است.
ACTIONS = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}
def step(state, action):
r, c = state
dr, dc = ACTIONS[action]
nr, nc = r + dr, c + dc
if nr < 0 or nr >= len(MAZE) or nc < 0 or nc >= len(MAZE[0]):
return state # outside: stay
if MAZE[nr][nc] == "#":
return state # wall: stay
return (nr, nc)
def reward(state):
return 10 if state == GOAL else -1
print(step((0, 0), "R")) # (0, 1)
print(step((0, 0), "D")) # (0, 0) because (1, 0) is a wallاولین عامل ما هیچ چیز نمیداند: هر بار یک عمل تصادفی انتخاب میکند، مثل کسی که چشمبسته در ماز راه میرود. اپیزود وقتی تمام میشود که به هدف برسد یا ۵۰ قدم بگذرد. random.seed باعث میشود هر بار همان قدمهای تصادفی تکرار شوند تا بتوانیم نتیجه را با هم مقایسه کنیم.
import random
random.seed(1)
state = START
total = 0
steps = 0
while state != GOAL and steps < 50:
action = random.choice("UDLR")
state = step(state, action)
total += reward(state)
steps += 1
print(steps, "steps, total reward", total)ماز را ببینیم! با turtle برای هر خانه یک مربع ۴۰ در ۴۰ میکشیم: دیوار سیاه، شروع آبی، هدف سبز و راه سفید. خانهی (r, c) در نقطهی x = -80 + c * 40 و y = 60 - r * 40 است؛ سطر بیشتر یعنی پایینتر، پس y کم میشود.
import turtle
t = turtle.Turtle()
t.speed(0)
COLORS = {"#": "black", "S": "blue", "G": "green", ".": "white"}
def square(x, y, color):
t.penup()
t.goto(x, y)
t.pendown()
t.fillcolor(color)
t.begin_fill()
for side in range(4):
t.forward(40)
t.right(90)
t.end_fill()
for r in range(len(MAZE)):
for c in range(len(MAZE[r])):
square(-80 + c * 40, 60 - r * 40, COLORS[MAZE[r][c]])
t.hideturtle()سیاست یعنی یک دفترچهی «در این خانه، این کار». یک دیکشنری کافی است: کلید حالت، مقدار عمل. این سیاست را خودمان با نگاه به ماز نوشتیم و ۵ قدمه به هدف میرسد: ۴ قدم -1 و یک +10، یعنی پاداش کل 6. جلسهی بعد عامل باید همین دفترچه را خودش و فقط با پاداش پیدا کند.
policy = {(0, 0): "R", (0, 1): "D", (1, 1): "D", (2, 1): "R", (2, 2): "R"}
state = START
total = 0
while state != GOAL:
state = step(state, policy[state])
total += reward(state)
print("total reward:", total) # total reward: 6بازده تخفیفخورده: یک بستنی امروز را به یک بستنی هفتهی بعد ترجیح میدهی، نه؟ عامل هم پاداش نزدیک را بیشتر از پاداش دور حساب میکند. هر قدم که جلوتر برویم، پاداش در عدد gamma (مثلاً 0.9) ضرب میشود: G = r0 + gamma*r1 + gamma**2*r2 + .... نتیجه: مسیر کوتاهتر بازده بیشتری دارد، چون +10 هدف زودتر و کمتر تخفیفخورده میرسد.
rewards = [-1, -1, -1, -1, 10]
gamma = 0.9
G = 0
for i in range(len(rewards)):
G += gamma ** i * rewards[i]
print(round(G, 3)) # 3.122⚠️ یک اجرای خوششانس تو را گول میزند. عامل تصادفی با یک seed با seed(3) در ۱۲ قدم به هدف میرسد و با seed(1) ۵۰ قدم سرگردان میماند و اصلاً نمیرسد. اگر فقط اجرای خوب را نشان دهی و بگویی «عامل من بلد است»، همان اشتباهی است که در جلسهی ۴۸ دیدی: نتیجهای که فقط روی یک نمونه خوب است. همیشه میانگین چند اپیزود را گزارش کن، با چند seed مختلف.
مثالهای این جلسه
- مثال تابع (هوش مصنوعی با پایتون): def find(ch):
- مثال تابع (هوش مصنوعی با پایتون): def step(state, action):
- مثال حلقه while (هوش مصنوعی با پایتون): while state != GOAL and steps < 50:
- مثال turtle (هوش مصنوعی با پایتون): t = turtle.Turtle() — یادگیری تقویتی ۱
- مثال حلقه while (هوش مصنوعی با پایتون): while state != GOAL:
- مثال حلقه for (هوش مصنوعی با پایتون): for i in range(len(rewards)):
چالشها
- Find the Goal (آسان)
- Draw the Maze (آسان)
- Moves and Walls (متوسط)
- A Random Agent (متوسط)
- Follow a Policy (سخت)
- Discounted Return (سخت)
بیشتر بخوان
- تابع در پایتون: آموزش def، پارامتر و return با مثال
- حلقه while در پایتون: آموزش با مثال و بازی حدس عدد
- آموزش turtle پایتون: نقاشی با لاکپشت قدمبهقدم با مثال
- حلقه for در پایتون: آموزش کامل با range و مثال
← جلسهی 58: پروژه: ربات پرسشوپاسخ درسی جلسهی 60: یادگیری تقویتی ۲ →