Two Heads چالش 5 از جلسهی 57، سخت
دو سر توجه داریم: سر who (کلمهی اشاره دنبال چیز زنده میگردد) و سر what (فعلی که مایع دارد دنبال مایع میگردد). خودت حلقهای بنویس که برای هر جفت (head, word) در questions، وزنها را با Wq همان سر بسازد، سطر آن کلمه را بردارد و کلمهی با بیشترین وزن را چاپ کند. خروجی دو خط: head who: it -> cat (0.4) و head what: drank -> milk (0.37).
import numpy as np
tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
[0.0, 0.0, 0.0, 0.0],
[1.0, 0.0, 0.0, 0.0],
[0.3, 0.6, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 1.0, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 0.0, 1.0, 0.0],
[0.0, 0.0, 0.0, 0.2],
[0.6, 0.2, 0.0, 1.0],
])
who = np.zeros((4, 4))
who[2, 0] = 4.0 # pointer -> looks for living
what = np.zeros((4, 4))
what[1, 1] = 6.0 # liquid -> looks for liquid
heads = {"who": who, "what": what}
K = X @ np.eye(4)
def attention_weights(Q, K):
S = Q @ K.T / np.sqrt(Q.shape[1])
e = np.exp(S)
return e / e.sum(axis=1, keepdims=True)
questions = [("who", "it"), ("what", "drank")]
# for each (head, word): weights with that head, the word's row, the top word
راهنما و جواب این چالش · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده · چالش بعدی: A Self-Attention Layer
بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال