جواب «Two Heads» چالش 5 از جلسهی 57
سؤال
دو سر توجه داریم: سر who (کلمهی اشاره دنبال چیز زنده میگردد) و سر what (فعلی که مایع دارد دنبال مایع میگردد). خودت حلقهای بنویس که برای هر جفت (head, word) در questions، وزنها را با Wq همان سر بسازد، سطر آن کلمه را بردارد و کلمهی با بیشترین وزن را چاپ کند. خروجی دو خط: head who: it -> cat (0.4) و head what: drank -> milk (0.37).
راهنما
در حلقه: W = attention_weights(X @ heads[head], K)، row = W[tokens.index(word)] و i = int(np.argmax(row)). وزن را با round(float(row[i]), 2) چاپ کن.
یک جواب درست
import numpy as np
tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
[0.0, 0.0, 0.0, 0.0],
[1.0, 0.0, 0.0, 0.0],
[0.3, 0.6, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 1.0, 0.0, 0.0],
[0.0, 0.0, 0.0, 0.0],
[0.0, 0.0, 1.0, 0.0],
[0.0, 0.0, 0.0, 0.2],
[0.6, 0.2, 0.0, 1.0],
])
who = np.zeros((4, 4))
who[2, 0] = 4.0 # pointer -> looks for living
what = np.zeros((4, 4))
what[1, 1] = 6.0 # liquid -> looks for liquid
heads = {"who": who, "what": what}
K = X @ np.eye(4)
def attention_weights(Q, K):
S = Q @ K.T / np.sqrt(Q.shape[1])
e = np.exp(S)
return e / e.sum(axis=1, keepdims=True)
questions = [("who", "it"), ("what", "drank")]
for head, word in questions:
W = attention_weights(X @ heads[head], K)
row = W[tokens.index(word)]
i = int(np.argmax(row))
print(f"head {head}: {word} -> {tokens[i]} ({round(float(row[i]), 2)})")
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن