بتل کد Battle Codeدارد باز می‌شود…

A Self-Attention Layer چالش 6 از جلسه‌ی 57، سخت

تابع self_attention(X, Wq, Wk, Wv) را خودت بنویس که Q، K، V را بسازد، وزن‌ها را با تقسیم بر sqrt(d) و softmax سطری حساب کند و (out, W) برگرداند. بعد سه کلمه‌ای را که it بیشتر از همه به آن‌ها نگاه می‌کند، از بیشتر به کمتر، هر کدام با وزنش (۲ رقم) چاپ کن و آخر بردار تازه‌ی it. خروجی چهار خط: cat 0.4، thirsty 0.18، drank 0.1، [0.54 0.15 0.05 0.19].

import numpy as np

tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
    [0.0, 0.0, 0.0, 0.0],
    [1.0, 0.0, 0.0, 0.0],
    [0.3, 0.6, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 1.0, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 0.0, 1.0, 0.0],
    [0.0, 0.0, 0.0, 0.2],
    [0.6, 0.2, 0.0, 1.0],
])
Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0
Wk = np.eye(4)
Wv = np.eye(4)


def self_attention(X, Wq, Wk, Wv):
    # Q, K, V, scaled scores, softmax per row, out = W @ V
    return None, None


out, W = self_attention(X, Wq, Wk, Wv)
# print the top 3 words of the "it" row, then the new vector of "it"

راهنما و جواب این چالش · برگشت به درس جلسه‌ی 57: توجه (attention) با مثال ساده

بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال