بتل کد Battle Codeدارد باز می‌شود…

Who Does It Look At? چالش 2 از جلسه‌ی 57، آسان

برنامه وزن‌های توجه سطر it را حساب می‌کند و الان کل سطر را چاپ می‌کند. فقط خط آخر را عوض کن تا کلمه‌ای که بیشترین وزن را دارد و وزنش (گردشده به ۲ رقم) چاپ شود. خروجی باید cat 0.4 باشد.

import numpy as np

tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
    [0.0, 0.0, 0.0, 0.0],
    [1.0, 0.0, 0.0, 0.0],
    [0.3, 0.6, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 1.0, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 0.0, 1.0, 0.0],
    [0.0, 0.0, 0.0, 0.2],
    [0.6, 0.2, 0.0, 1.0],
])
Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0
Q = X @ Wq
K = X @ np.eye(4)
scores = Q[6] @ K.T / np.sqrt(4)
w_it = np.exp(scores) / np.exp(scores).sum()
print(np.round(w_it, 2))

راهنما و جواب این چالش · برگشت به درس جلسه‌ی 57: توجه (attention) با مثال ساده · چالش بعدی: Attention Weights

بیشتر بخوان: لیست در پایتون: آموزش کامل list با مثال، متدها و نکته‌ها