بتل کد Battle Codeدارد باز می‌شود…

مثال تابع (هوش مصنوعی با پایتون): def softmax_rows(S):

مثال 3 از درس جلسه‌ی 57 آموزش هوش مصنوعی برای نوجوانان با پایتون: توجه (attention) با مثال ساده

اولین امتحان: امتیاز هر جفت کلمه = ضرب داخلی‌شان (هرچه شبیه‌تر، بیشتر). X @ X.T همه‌ی امتیازها را یک‌جا می‌دهد: ماتریس ۹×۹ که سطر i می‌گوید کلمه‌ی i به هر کلمه چه امتیازی می‌دهد. بعد روی هر سطر softmax می‌زنیم (همان softmax جلسه‌ی ۴۴) تا امتیازها وزن شوند و جمع هر سطر ۱ شود. keepdims=True باعث می‌شود جمع هر سطر به شکل یک ستون بماند و تقسیم درست سطر به سطر انجام شود.

def softmax_rows(S):
    e = np.exp(S - S.max(axis=1, keepdims=True))
    return e / e.sum(axis=1, keepdims=True)


W = softmax_rows(X @ X.T)
print(np.round(W[6], 2))    # the row of "it"
# [0.09 0.09 0.09 0.09 0.09 0.09 0.25 0.09 0.09]
print(tokens[int(np.argmax(W[6]))])   # it  (it looks at itself!)

این کد را همین‌جا در ویرایشگر پایتون اجرا کن، عددها و متن‌هایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری می‌کند.

بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال

← مثال قبلی · برگشت به درس جلسه‌ی 57: توجه (attention) با مثال ساده · مثال بعدی → · چالش‌های این جلسه