مثال متغیر (هوش مصنوعی با پایتون): d = Q.shape[1]
مثال 6 از درس جلسهی 57 آموزش هوش مصنوعی برای نوجوانان با پایتون: توجه (attention) با مثال ساده
تقسیم بر sqrt(d): وقتی بردارها صدها بعد دارند، ضرب داخلیها خیلی بزرگ میشوند و softmax «همه یا هیچ» میشود: یک وزن نزدیک ۱ و بقیه صفر، و آموزش گیر میکند. برای همین امتیازها را بر جذر تعداد بعدها (d = 4، پس تقسیم بر ۲) تقسیم میکنیم تا توجه نرمتر شود. این فرمول کامل توجه در ترنسفورمرهاست: softmax(Q @ K.T / sqrt(d)) @ V.
d = Q.shape[1]
W = softmax_rows(Q @ K.T / np.sqrt(d))
print(np.round(W[6], 2))
# [0.05 0.4 0.1 0.05 0.05 0.05 0.05 0.05 0.18]
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: متغیر در پایتون: تعریف، نامگذاری و تغییر مقدار با مثال
← مثال قبلی · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده · مثال بعدی → · چالشهای این جلسه