جواب «Step 3: The Q-Table» چالش 3 از جلسهی 61
سؤال
قدم ۳: دو تکه را کامل کن. ۱) در حلقهی ساختن جدول، برای هر حرکت ممکن Q[(s, t)] = 0.0 بگذار. ۲) در choose(sticks, epsilon) بعد از بخش کشف، حرکتی از moves(sticks) را برگردان که Q[(sticks, t)] بزرگتری دارد (اگر مساوی بودند، اولی). خروجی، بعد از خطهای قدمهای قبل، باید این باشد:Q-table size: 27greedy at 7: 3 | greedy at 5: 1
راهنما
best = moves(sticks)[0] و بعد روی moves(sticks) بچرخ؛ اگر Q[(sticks, t)] > Q[(sticks, best)] بود، best = t. با > (نه >=) در تساوی اولی میماند.
یک جواب درست
import random
START = 10
def moves(sticks):
return [t for t in (1, 2, 3) if t <= sticks]
def play_game(first, second):
sticks = START
players = [first, second]
turn = 0
while True:
t = players[turn](sticks)
sticks = sticks - t
if sticks <= 0:
return turn
turn = 1 - turn
def take_one(sticks):
return 1
def take_most(sticks):
return max(moves(sticks))
print(moves(10), moves(2), moves(1))
print("winner:", play_game(take_one, take_most))
def random_player(sticks):
return random.choice(moves(sticks))
random.seed(1)
wins = [0, 0]
for g in range(1000):
wins[play_game(random_player, random_player)] += 1
print("random vs random:", wins)
Q = {}
for s in range(1, START + 1):
for t in moves(s):
Q[(s, t)] = 0.0
def choose(sticks, epsilon):
if random.random() < epsilon:
return random.choice(moves(sticks))
best = moves(sticks)[0]
for t in moves(sticks):
if Q[(sticks, t)] > Q[(sticks, best)]:
best = t
return best
print("Q-table size:", len(Q))
Q[(7, 3)] = 0.8
print("greedy at 7:", choose(7, 0.0), "| greedy at 5:", choose(5, 0.0))
Q[(7, 3)] = 0.0
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن