مثال تابع (هوش مصنوعی با پایتون): def softmax_rows(S):
مثال 3 از درس جلسهی 57 آموزش هوش مصنوعی برای نوجوانان با پایتون: توجه (attention) با مثال ساده
اولین امتحان: امتیاز هر جفت کلمه = ضرب داخلیشان (هرچه شبیهتر، بیشتر). X @ X.T همهی امتیازها را یکجا میدهد: ماتریس ۹×۹ که سطر i میگوید کلمهی i به هر کلمه چه امتیازی میدهد. بعد روی هر سطر softmax میزنیم (همان softmax جلسهی ۴۴) تا امتیازها وزن شوند و جمع هر سطر ۱ شود. keepdims=True باعث میشود جمع هر سطر به شکل یک ستون بماند و تقسیم درست سطر به سطر انجام شود.
def softmax_rows(S):
e = np.exp(S - S.max(axis=1, keepdims=True))
return e / e.sum(axis=1, keepdims=True)
W = softmax_rows(X @ X.T)
print(np.round(W[6], 2)) # the row of "it"
# [0.09 0.09 0.09 0.09 0.09 0.09 0.25 0.09 0.09]
print(tokens[int(np.argmax(W[6]))]) # it (it looks at itself!)
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال
← مثال قبلی · برگشت به درس جلسهی 57: توجه (attention) با مثال ساده · مثال بعدی → · چالشهای این جلسه