Who Does It Look At? چالش 2 از جلسهی 57، آسان
برنامه وزنهای توجه سطر it را حساب میکند و الان کل سطر را چاپ میکند. فقط خط آخر را عوض کن تا کلمهای که بیشترین وزن را دارد و وزنش (گردشده به ۲ رقم) چاپ شود. خروجی باید cat 0.4 باشد.
import numpy as np
tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
[0.0, 0.0, 0.0, 0.0],
[1.0, 0.0, 0.0, 0.0],
[0.3, 0.6, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 1.0, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 0.0, 1.0, 0.0],
[0.0, 0.0, 0.0, 0.2],
[0.6, 0.2, 0.0, 1.0],
])
Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0
Q = X @ Wq
K = X @ np.eye(4)
scores = Q[6] @ K.T / np.sqrt(4)
w_it = np.exp(scores) / np.exp(scores).sum()
print(np.round(w_it, 2))
راهنما و جواب این چالش · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده · چالش بعدی: Attention Weights
بیشتر بخوان: لیست در پایتون: آموزش کامل list با مثال، متدها و نکتهها