بتل کد Battle Codeدارد باز می‌شود…

جواب «Step 4: The Learning Chart and My Change» چالش 4 از جلسه‌ی 20

سؤال

قدم ۴. ببینیم یاد گرفت یا نه! در حلقه‌ی تمرین امتیاز هر دور را جمع کن و هر ۲۰ دور میانگین را در لیست blocks بگذار و با # چاپ کن، مثل rounds 1 to 20 ### 3.25. در draw برای هر عدد blocks یک میله‌ی نارنجی بکش (معمولاً میله‌ی اول از همه کوتاه‌تر است، چون یادگیری همان‌جا اتفاق می‌افتد). آخر یک چیز را خودت عوض کن: epsilon، یا پاداش تصادف یا پرش، و بالای آن یک توضیح بنویس که با # my change: شروع شود و بگوید چه کردی و نمودار چه شد.

راهنما

for i in range(1, 201): و داخلش block += play_round(). if i % 20 == 0: یعنی هر بیست دور. میله: Rect(380 + i * 20, 115 - h, 15, h).

یک جواب درست

import pgzrun
import random

WIDTH = 600
HEIGHT = 300
TITLE = "Learning Runner"

dist = 10
jumping = False
message = ""
runner = Actor("robot", (80, 200))
rock = Actor("rock", (530, 200))
alpha = 0.5
# my change: epsilon 0.2 -> 0.5, effect: the bars are lower, it makes more random moves while practising
epsilon = 0.5

def state_of(dist):
    return (dist - 1) // 2

def simulate(dist, action):
    if action == "jump":
        if dist <= 2:
            return 0, 10, True
        return dist - 2, -1, False
    dist = dist - 1
    if dist == 0:
        return 0, -10, True
    return dist, 0, False

Q = {}
for s in range(5):
    Q[s] = {"jump": 0, "wait": 0}

def best_action(s):
    if Q[s]["jump"] > Q[s]["wait"]:
        return "jump"
    return "wait"

def learn(s, action, reward, new_dist, done):
    target = reward
    if not done:
        s2 = state_of(new_dist)
        target = reward + max(Q[s2]["jump"], Q[s2]["wait"])
    Q[s][action] += alpha * (target - Q[s][action])

def play_round():
    d = 10
    score = 0
    done = False
    while not done:
        s = state_of(d)
        if random.random() < epsilon:
            action = random.choice(["jump", "wait"])
        else:
            action = best_action(s)
        new_d, reward, done = simulate(d, action)
        learn(s, action, reward, new_d, done)
        score += reward
        d = new_d
    return score

random.seed(1)
blocks = []
block = 0
for i in range(1, 201):
    block += play_round()
    if i % 20 == 0:
        avg = block / 20
        blocks.append(avg)
        print("rounds", i - 19, "to", i, "#" * int(max(avg, 0)), avg)
        block = 0

def tick():
    global dist, jumping, message
    action = best_action(state_of(dist))
    jumping = action == "jump"
    dist, reward, done = simulate(dist, action)
    if done:
        message = "cleared!" if reward > 0 else "crash!"
        dist = 10

def draw():
    screen.fill("skyblue")
    screen.draw.filled_rect(Rect(0, 225, 600, 75), "darkgreen")
    runner.y = 130 if jumping else 200
    rock.x = 80 + dist * 45
    runner.draw()
    rock.draw()
    screen.draw.text("trained 200 rounds   state: " + str(state_of(dist)), (10, 10), fontsize=28, color="black")
    screen.draw.text(message, (10, 40), fontsize=28, color="darkred")
    screen.draw.text("score per 20 rounds", (380, 10), fontsize=22, color="navy")
    for i in range(len(blocks)):
        h = max(blocks[i], 0) * 8 + 1
        screen.draw.filled_rect(Rect(380 + i * 20, 115 - h, 15, h), "orange")

clock.schedule_interval(tick, 0.5)
pgzrun.go()

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن