جواب «A Self-Attention Layer» چالش 6 از جلسهی 57
سؤال
تابع self_attention(X, Wq, Wk, Wv) را خودت بنویس که Q، K، V را بسازد، وزنها را با تقسیم بر sqrt(d) و softmax سطری حساب کند و (out, W) برگرداند. بعد سه کلمهای را که it بیشتر از همه به آنها نگاه میکند، از بیشتر به کمتر، هر کدام با وزنش (۲ رقم) چاپ کن و آخر بردار تازهی it. خروجی چهار خط: cat 0.4، thirsty 0.18، drank 0.1، [0.54 0.15 0.05 0.19].
راهنما
برای سهتای اول: order = sorted(range(len(tokens)), key=lambda i: row[i], reverse=True) و بعد order[:3]. row = W[tokens.index("it")].
یک جواب درست
import numpy as np
tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
[0.0, 0.0, 0.0, 0.0],
[1.0, 0.0, 0.0, 0.0],
[0.3, 0.6, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 1.0, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 0.0, 1.0, 0.0],
[0.0, 0.0, 0.0, 0.2],
[0.6, 0.2, 0.0, 1.0],
])
Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0
Wk = np.eye(4)
Wv = np.eye(4)
def self_attention(X, Wq, Wk, Wv):
Q = X @ Wq
K = X @ Wk
V = X @ Wv
S = Q @ K.T / np.sqrt(Q.shape[1])
e = np.exp(S - S.max(axis=1, keepdims=True))
W = e / e.sum(axis=1, keepdims=True)
return W @ V, W
out, W = self_attention(X, Wq, Wk, Wv)
it = tokens.index("it")
row = W[it]
order = sorted(range(len(tokens)), key=lambda i: row[i], reverse=True)
for i in order[:3]:
print(tokens[i], round(float(row[i]), 2))
print(np.round(out[it], 2))
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن