Softmax One Row چالش 1 از جلسهی 57، آسان
امتیازهای سطر it (بعد از تقسیم بر sqrt(d)) آماده است. جای ___ را پر کن تا softmax شوند: exp هر امتیاز تقسیم بر جمع همهی expها. خروجی دو خط: [0.054 0.399 0.098 0.054 0.054 0.054 0.054 0.054 0.179] و 1.0.
import numpy as np
tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
scores = np.array([0.0, 2.0, 0.6, 0.0, 0.0, 0.0, 0.0, 0.0, 1.2])
weights = ___
print(np.round(weights, 3))
print(round(float(weights.sum()), 3))
راهنما و جواب این چالش · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده · چالش بعدی: Who Does It Look At?
بیشتر بخوان: لیست در پایتون: آموزش کامل list با مثال، متدها و نکتهها