بتل کد Battle Codeدارد باز می‌شود…

جواب «Attention Weights» چالش 3 از جلسه‌ی 57

سؤال

تابع attention_weights(Q, K) را کامل کن: امتیازها Q @ K.T تقسیم بر np.sqrt(d) (که d تعداد ستون‌های Q است)، بعد softmax روی هر سطر با keepdims=True. خروجی دو خط: سطر it یعنی [0.05 0.4 0.1 0.05 0.05 0.05 0.05 0.05 0.18] و جمع سطرها [1. 1. 1. 1. 1. 1. 1. 1. 1.].

راهنما

S = Q @ K.T / np.sqrt(d)، e = np.exp(S) و return e / e.sum(axis=1, keepdims=True).

یک جواب درست

import numpy as np

tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
    [0.0, 0.0, 0.0, 0.0],
    [1.0, 0.0, 0.0, 0.0],
    [0.3, 0.6, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 1.0, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0],
    [0.0, 0.0, 1.0, 0.0],
    [0.0, 0.0, 0.0, 0.2],
    [0.6, 0.2, 0.0, 1.0],
])
Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0
Q = X @ Wq
K = X @ np.eye(4)


def attention_weights(Q, K):
    d = Q.shape[1]
    S = Q @ K.T / np.sqrt(d)
    e = np.exp(S)
    return e / e.sum(axis=1, keepdims=True)


W = attention_weights(Q, K)
print(np.round(W[6], 2))
print(np.round(W.sum(axis=1), 2))

اول خودت امتحان کن؛ جواب‌های دیگر هم قبول است. برگرد و خودت حلش کن