بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 59: یادگیری تقویتی ۱ Reinforcement Learning 1

به جای جواب درست، پاداش! یک ماز کوچک با متن می‌سازیم، با turtle می‌کشیمش و عاملی را در آن راه می‌اندازیم که با قدم زدن و گرفتن امتیاز کار می‌کند.

در این جلسه یاد می‌گیری

درس

تا امروز همه‌ی مدل‌هایمان با جواب درست یاد می‌گرفتند: هر عکس رقم برچسب داشت، هر پیام «هرز» یا «سالم» بود. اما وقتی به سگت یاد می‌دهی بنشیند، جواب درست را برایش نمی‌نویسی؛ هر بار نشست یک تشویقی می‌گیرد. در بازی کامپیوتری هم کسی نمی‌گوید کدام دکمه را بزن؛ فقط امتیاز بالا و پایین می‌رود و تو کم‌کم یاد می‌گیری. به این یادگیری تقویتی (reinforcement learning) می‌گویند: یادگیری با پاداش به جای برچسب.

پنج کلمه‌ی اصلی، با مثال یک بازی ماز: حالت (state) = الان کجای ماز هستم، مثلاً خانه‌ی (0, 1). عمل (action) = کاری که می‌توانم بکنم: بالا، پایین، چپ، راست. پاداش (reward) = عددی که بعد از هر عمل می‌گیرم. اپیزود (episode) = یک دست کامل بازی، از شروع تا رسیدن به هدف (یا تمام شدن وقت). سیاست (policy) = قانون من: در هر حالت کدام عمل را انتخاب کنم. کل هدف یادگیری تقویتی: پیدا کردن سیاستی که پاداش کل را بیشتر کند.

ماز ما فقط چند رشته است: S شروع، G هدف، # دیوار و . راه. خانه‌ها را مثل جلسه‌ی ۱۱ با (سطر، ستون) نام می‌بریم و شمارش از صفر است. تابع find یک حرف را در ماز پیدا می‌کند.

MAZE = [
    "S..#",
    "#.#.",
    "...G",
]


def find(ch):
    for r in range(len(MAZE)):
        for c in range(len(MAZE[r])):
            if MAZE[r][c] == ch:
                return (r, c)


START = find("S")
GOAL = find("G")
print(START, GOAL)       # (0, 0) (2, 3)
for row in MAZE:
    print(row)

حرکت: هر عمل یک جابه‌جایی است؛ U یعنی یک سطر بالا (-1, 0) و R یعنی یک ستون راست (0, 1). اگر خانه‌ی جدید بیرون از ماز یا دیوار باشد، مثل بازی‌ها عامل سر جایش می‌ماند. پاداش هم ساده است: رسیدن به هدف +10، هر قدم دیگر -1. آن -1 می‌گوید «عجله کن»؛ هر قدم اضافه گران است.

ACTIONS = {"U": (-1, 0), "D": (1, 0), "L": (0, -1), "R": (0, 1)}


def step(state, action):
    r, c = state
    dr, dc = ACTIONS[action]
    nr, nc = r + dr, c + dc
    if nr < 0 or nr >= len(MAZE) or nc < 0 or nc >= len(MAZE[0]):
        return state                    # outside: stay
    if MAZE[nr][nc] == "#":
        return state                    # wall: stay
    return (nr, nc)


def reward(state):
    return 10 if state == GOAL else -1


print(step((0, 0), "R"))   # (0, 1)
print(step((0, 0), "D"))   # (0, 0) because (1, 0) is a wall

اولین عامل ما هیچ چیز نمی‌داند: هر بار یک عمل تصادفی انتخاب می‌کند، مثل کسی که چشم‌بسته در ماز راه می‌رود. اپیزود وقتی تمام می‌شود که به هدف برسد یا ۵۰ قدم بگذرد. random.seed باعث می‌شود هر بار همان قدم‌های تصادفی تکرار شوند تا بتوانیم نتیجه را با هم مقایسه کنیم.

import random

random.seed(1)
state = START
total = 0
steps = 0
while state != GOAL and steps < 50:
    action = random.choice("UDLR")
    state = step(state, action)
    total += reward(state)
    steps += 1
print(steps, "steps, total reward", total)

ماز را ببینیم! با turtle برای هر خانه یک مربع ۴۰ در ۴۰ می‌کشیم: دیوار سیاه، شروع آبی، هدف سبز و راه سفید. خانه‌ی (r, c) در نقطه‌ی x = -80 + c * 40 و y = 60 - r * 40 است؛ سطر بیشتر یعنی پایین‌تر، پس y کم می‌شود.

import turtle

t = turtle.Turtle()
t.speed(0)
COLORS = {"#": "black", "S": "blue", "G": "green", ".": "white"}


def square(x, y, color):
    t.penup()
    t.goto(x, y)
    t.pendown()
    t.fillcolor(color)
    t.begin_fill()
    for side in range(4):
        t.forward(40)
        t.right(90)
    t.end_fill()


for r in range(len(MAZE)):
    for c in range(len(MAZE[r])):
        square(-80 + c * 40, 60 - r * 40, COLORS[MAZE[r][c]])
t.hideturtle()

سیاست یعنی یک دفترچه‌ی «در این خانه، این کار». یک دیکشنری کافی است: کلید حالت، مقدار عمل. این سیاست را خودمان با نگاه به ماز نوشتیم و ۵ قدمه به هدف می‌رسد: ۴ قدم -1 و یک +10، یعنی پاداش کل 6. جلسه‌ی بعد عامل باید همین دفترچه را خودش و فقط با پاداش پیدا کند.

policy = {(0, 0): "R", (0, 1): "D", (1, 1): "D", (2, 1): "R", (2, 2): "R"}

state = START
total = 0
while state != GOAL:
    state = step(state, policy[state])
    total += reward(state)
print("total reward:", total)    # total reward: 6

بازده تخفیف‌خورده: یک بستنی امروز را به یک بستنی هفته‌ی بعد ترجیح می‌دهی، نه؟ عامل هم پاداش نزدیک را بیشتر از پاداش دور حساب می‌کند. هر قدم که جلوتر برویم، پاداش در عدد gamma (مثلاً 0.9) ضرب می‌شود: G = r0 + gamma*r1 + gamma**2*r2 + .... نتیجه: مسیر کوتاه‌تر بازده بیشتری دارد، چون +10 هدف زودتر و کمتر تخفیف‌خورده می‌رسد.

rewards = [-1, -1, -1, -1, 10]
gamma = 0.9
G = 0
for i in range(len(rewards)):
    G += gamma ** i * rewards[i]
print(round(G, 3))      # 3.122

⚠️ یک اجرای خوش‌شانس تو را گول می‌زند. عامل تصادفی با یک seed با seed(3) در ۱۲ قدم به هدف می‌رسد و با seed(1) ۵۰ قدم سرگردان می‌ماند و اصلاً نمی‌رسد. اگر فقط اجرای خوب را نشان دهی و بگویی «عامل من بلد است»، همان اشتباهی است که در جلسه‌ی ۴۸ دیدی: نتیجه‌ای که فقط روی یک نمونه خوب است. همیشه میانگین چند اپیزود را گزارش کن، با چند seed مختلف.

مثال‌های این جلسه

چالش‌ها

  1. Find the Goal (آسان)
  2. Draw the Maze (آسان)
  3. Moves and Walls (متوسط)
  4. A Random Agent (متوسط)
  5. Follow a Policy (سخت)
  6. Discounted Return (سخت)

بیشتر بخوان

← جلسه‌ی 58: پروژه: ربات پرسش‌وپاسخ درسی جلسه‌ی 60: یادگیری تقویتی ۲ →