مثال متغیر (هوش مصنوعی با پایتون): Wq = np.zeros((4, 4))
مثال 4 از درس جلسهی 57 آموزش هوش مصنوعی برای نوجوانان با پایتون: توجه (attention) با مثال ساده
مشکل: it بیشتر از همه به خودش نگاه میکند، چون با خودش شبیهترین است. ولی it دنبال «شبیه خودش» نیست، دنبال «یک چیز زنده» است! راه حل، سه نقش جدا برای هر کلمه است، مثل جستوجو در یوتیوب: query (پرسش) = چیزی که تایپ میکنی، «دنبال چه هستم؟»؛ key (کلید) = عنوان و برچسب هر ویدیو، «من چه دارم؟»؛ value (مقدار) = خود ویدیو که میگیری. هر نقش از ضرب X در یک ماتریس وزن ساخته میشود: Q = X @ Wq، K = X @ Wk، V = X @ Wv.
Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0 # a pointer word asks for "living"
Wk = np.eye(4) # keys: every word just shows its own features
Wv = np.eye(4) # values: every word gives its own vector
Q = X @ Wq
K = X @ Wk
V = X @ Wv
print(Q[6]) # [4. 0. 0. 0.] "it" asks: who is living?
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: متغیر در پایتون: تعریف، نامگذاری و تغییر مقدار با مثال
← مثال قبلی · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده · مثال بعدی → · چالشهای این جلسه