بتل کد Battle Codeدارد باز می‌شود…

Two Heads چالش 5 از جلسه‌ی 57، سخت

دو سر توجه داریم: سر who (کلمه‌ی اشاره دنبال چیز زنده می‌گردد) و سر what (فعلی که مایع دارد دنبال مایع می‌گردد). خودت حلقه‌ای بنویس که برای هر جفت (head, word) در questions، وزن‌ها را با Wq همان سر بسازد، سطر آن کلمه را بردارد و کلمه‌ی با بیشترین وزن را چاپ کند. خروجی دو خط: head who: it -> cat (0.4) و head what: drank -> milk (0.37).

import numpy as np

tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
    [0.0, 0.0, 0.0, 0.0],
    [1.0, 0.0, 0.0, 0.0],
    [0.3, 0.6, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 1.0, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 0.0, 1.0, 0.0],
    [0.0, 0.0, 0.0, 0.2],
    [0.6, 0.2, 0.0, 1.0],
])
who = np.zeros((4, 4))
who[2, 0] = 4.0      # pointer -> looks for living
what = np.zeros((4, 4))
what[1, 1] = 6.0     # liquid -> looks for liquid
heads = {"who": who, "what": what}
K = X @ np.eye(4)


def attention_weights(Q, K):
    S = Q @ K.T / np.sqrt(Q.shape[1])
    e = np.exp(S)
    return e / e.sum(axis=1, keepdims=True)


questions = [("who", "it"), ("what", "drank")]
# for each (head, word): weights with that head, the word's row, the top word

راهنما و جواب این چالش · برگشت به درس جلسه‌ی 57: توجه (attention) با مثال ساده · چالش بعدی: A Self-Attention Layer

بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال