A Self-Attention Layer چالش 6 از جلسهی 57، سخت
تابع self_attention(X, Wq, Wk, Wv) را خودت بنویس که Q، K، V را بسازد، وزنها را با تقسیم بر sqrt(d) و softmax سطری حساب کند و (out, W) برگرداند. بعد سه کلمهای را که it بیشتر از همه به آنها نگاه میکند، از بیشتر به کمتر، هر کدام با وزنش (۲ رقم) چاپ کن و آخر بردار تازهی it. خروجی چهار خط: cat 0.4، thirsty 0.18، drank 0.1، [0.54 0.15 0.05 0.19].
import numpy as np
tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
[0.0, 0.0, 0.0, 0.0],
[1.0, 0.0, 0.0, 0.0],
[0.3, 0.6, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 1.0, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 0.0, 1.0, 0.0],
[0.0, 0.0, 0.0, 0.2],
[0.6, 0.2, 0.0, 1.0],
])
Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0
Wk = np.eye(4)
Wv = np.eye(4)
def self_attention(X, Wq, Wk, Wv):
# Q, K, V, scaled scores, softmax per row, out = W @ V
return None, None
out, W = self_attention(X, Wq, Wk, Wv)
# print the top 3 words of the "it" row, then the new vector of "it"
راهنما و جواب این چالش · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده
بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال