بتل کد Battle Codeدارد باز می‌شود…

مثال متغیر (هوش مصنوعی با پایتون): S = Q @ K.T

مثال 5 از درس جلسه‌ی 57 آموزش هوش مصنوعی برای نوجوانان با پایتون: توجه (attention) با مثال ساده

حالا امتیازها Q @ K.T هستند: پرسش هر کلمه در برابر کلید همه. سطر it: به cat امتیاز ۴ می‌دهد (چون cat زنده است)، به thirsty ۲.۴ و به drank ۱.۲. بعد از softmax، it حدود ۷۳٪ توجهش را به cat می‌دهد. هیچ‌جا ننوشتیم «it یعنی cat»؛ فقط گفتیم «it دنبال چیز زنده است» و بقیه از حساب درآمد.

S = Q @ K.T
W = softmax_rows(S)
print(S[6])                 # [0.  4.  1.2 0.  0.  0.  0.  0.  2.4]
print(np.round(W[6], 2))    # [0.01 0.73 0.04 0.01 0.01 0.01 0.01 0.01 0.15]
print(tokens[int(np.argmax(W[6]))])   # cat

این کد را همین‌جا در ویرایشگر پایتون اجرا کن، عددها و متن‌هایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری می‌کند.

بیشتر بخوان: متغیر در پایتون: تعریف، نام‌گذاری و تغییر مقدار با مثال

← مثال قبلی · برگشت به درس جلسه‌ی 57: توجه (attention) با مثال ساده · مثال بعدی → · چالش‌های این جلسه