مثال متغیر (هوش مصنوعی با پایتون): S = Q @ K.T
مثال 5 از درس جلسهی 57 آموزش هوش مصنوعی برای نوجوانان با پایتون: توجه (attention) با مثال ساده
حالا امتیازها Q @ K.T هستند: پرسش هر کلمه در برابر کلید همه. سطر it: به cat امتیاز ۴ میدهد (چون cat زنده است)، به thirsty ۲.۴ و به drank ۱.۲. بعد از softmax، it حدود ۷۳٪ توجهش را به cat میدهد. هیچجا ننوشتیم «it یعنی cat»؛ فقط گفتیم «it دنبال چیز زنده است» و بقیه از حساب درآمد.
S = Q @ K.T
W = softmax_rows(S)
print(S[6]) # [0. 4. 1.2 0. 0. 0. 0. 0. 2.4]
print(np.round(W[6], 2)) # [0.01 0.73 0.04 0.01 0.01 0.01 0.01 0.01 0.15]
print(tokens[int(np.argmax(W[6]))]) # cat
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: متغیر در پایتون: تعریف، نامگذاری و تغییر مقدار با مثال
← مثال قبلی · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده · مثال بعدی → · چالشهای این جلسه