بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 57: توجه (attention) با مثال ساده Attention with a Simple Example

در جمله‌ی «the cat drank the milk because it was thirsty» کلمه‌ی it به چه کسی اشاره می‌کند؟ با query، key و value کوچک و دست‌ساز، softmax روی هر سطر و ضرب ماتریسی، می‌بینیم هر کلمه به کدام کلمه‌ها «نگاه می‌کند»؛ همان قطعه‌ی اصلی ترنسفورمرها.

در این جلسه یاد می‌گیری

درس

جمله‌ی «the cat drank the milk because it was thirsty» را بخوان. it چیست؟ گربه، چون شیر تشنه نمی‌شود! تو برای فهمیدن it به کلمه‌های دیگر جمله نگاه کردی و به بعضی بیشتر توجه کردی. شاعر کوچک جلسه‌ی ۳۵ فقط یکی دو کلمه‌ی آخر را می‌دید و میانگین جلسه‌ی ۵۶ ترتیب و ارتباط کلمه‌ها را گم می‌کرد. ایده‌ی توجه (attention): هر کلمه به همه‌ی کلمه‌ها نگاه کند و خودش تصمیم بگیرد به کدام چقدر توجه کند. مثل گروه کلاس که یکی می‌نویسد «اون رو آوردی؟» و تو بالا را می‌گردی ببینی «اون» یعنی کدام کتاب.

هر کلمه یک بردار کوچک دست‌ساز با چهار بعد دارد: living (زنده)، liquid (مایع)، pointer (کلمه‌ای که به چیز دیگری اشاره می‌کند، مثل it) و state (حالت، مثل تشنه بودن). کلمه‌های کوچکی مثل the همه صفرند. این بردارها سطرهای ماتریس X هستند: ۹ کلمه، ۴ بعد.

import numpy as np

tokens = ["the", "cat", "drank", "the", "milk", "because", "it", "was", "thirsty"]
X = np.array([
    [0.0, 0.0, 0.0, 0.0],   # the
    [1.0, 0.0, 0.0, 0.0],   # cat
    [0.3, 0.6, 0.0, 0.0],   # drank
    [0.0, 0.0, 0.0, 0.0],   # the
    [0.0, 1.0, 0.0, 0.0],   # milk
    [0.0, 0.0, 0.0, 0.0],   # because
    [0.0, 0.0, 1.0, 0.0],   # it
    [0.0, 0.0, 0.0, 0.2],   # was
    [0.6, 0.2, 0.0, 1.0],   # thirsty
])
print(X.shape)   # (9, 4)

اولین امتحان: امتیاز هر جفت کلمه = ضرب داخلی‌شان (هرچه شبیه‌تر، بیشتر). X @ X.T همه‌ی امتیازها را یک‌جا می‌دهد: ماتریس ۹×۹ که سطر i می‌گوید کلمه‌ی i به هر کلمه چه امتیازی می‌دهد. بعد روی هر سطر softmax می‌زنیم (همان softmax جلسه‌ی ۴۴) تا امتیازها وزن شوند و جمع هر سطر ۱ شود. keepdims=True باعث می‌شود جمع هر سطر به شکل یک ستون بماند و تقسیم درست سطر به سطر انجام شود.

def softmax_rows(S):
    e = np.exp(S - S.max(axis=1, keepdims=True))
    return e / e.sum(axis=1, keepdims=True)


W = softmax_rows(X @ X.T)
print(np.round(W[6], 2))    # the row of "it"
# [0.09 0.09 0.09 0.09 0.09 0.09 0.25 0.09 0.09]
print(tokens[int(np.argmax(W[6]))])   # it  (it looks at itself!)

مشکل: it بیشتر از همه به خودش نگاه می‌کند، چون با خودش شبیه‌ترین است. ولی it دنبال «شبیه خودش» نیست، دنبال «یک چیز زنده» است! راه حل، سه نقش جدا برای هر کلمه است، مثل جست‌وجو در یوتیوب: query (پرسش) = چیزی که تایپ می‌کنی، «دنبال چه هستم؟»؛ key (کلید) = عنوان و برچسب هر ویدیو، «من چه دارم؟»؛ value (مقدار) = خود ویدیو که می‌گیری. هر نقش از ضرب X در یک ماتریس وزن ساخته می‌شود: Q = X @ Wq، K = X @ Wk، V = X @ Wv.

Wq = np.zeros((4, 4))
Wq[2, 0] = 4.0       # a pointer word asks for "living"
Wk = np.eye(4)       # keys: every word just shows its own features
Wv = np.eye(4)       # values: every word gives its own vector
Q = X @ Wq
K = X @ Wk
V = X @ Wv
print(Q[6])          # [4. 0. 0. 0.]  "it" asks: who is living?

حالا امتیازها Q @ K.T هستند: پرسش هر کلمه در برابر کلید همه. سطر it: به cat امتیاز ۴ می‌دهد (چون cat زنده است)، به thirsty ۲.۴ و به drank ۱.۲. بعد از softmax، it حدود ۷۳٪ توجهش را به cat می‌دهد. هیچ‌جا ننوشتیم «it یعنی cat»؛ فقط گفتیم «it دنبال چیز زنده است» و بقیه از حساب درآمد.

S = Q @ K.T
W = softmax_rows(S)
print(S[6])                 # [0.  4.  1.2 0.  0.  0.  0.  0.  2.4]
print(np.round(W[6], 2))    # [0.01 0.73 0.04 0.01 0.01 0.01 0.01 0.01 0.15]
print(tokens[int(np.argmax(W[6]))])   # cat

تقسیم بر sqrt(d): وقتی بردارها صدها بعد دارند، ضرب داخلی‌ها خیلی بزرگ می‌شوند و softmax «همه یا هیچ» می‌شود: یک وزن نزدیک ۱ و بقیه صفر، و آموزش گیر می‌کند. برای همین امتیازها را بر جذر تعداد بعدها (d = 4، پس تقسیم بر ۲) تقسیم می‌کنیم تا توجه نرم‌تر شود. این فرمول کامل توجه در ترنسفورمرهاست: softmax(Q @ K.T / sqrt(d)) @ V.

d = Q.shape[1]
W = softmax_rows(Q @ K.T / np.sqrt(d))
print(np.round(W[6], 2))
# [0.05 0.4  0.1  0.05 0.05 0.05 0.05 0.05 0.18]

خروجی توجه: معنی تازه‌ی هر کلمه = مخلوط value کلمه‌هایی که به آن‌ها توجه کرده. W @ V برای it یعنی ۴۰٪ بردار cat + ۱۸٪ thirsty + ۱۰٪ drank + .... بردار it قبلاً فقط pointer داشت؛ حالا بعد living آن 0.54 است. یعنی it بعد از این لایه «کمی گربه» شده!

out = W @ V
print(X[6])                  # [0. 0. 1. 0.]  before
print(np.round(out[6], 2))   # [0.54 0.15 0.05 0.19]  after

از این‌جا تا ChatGPT: یک ترنسفورمر همین لایه‌ی توجه را چند بار دارد. ۱) چند سر (heads): هر سر Wq و Wk خودش را دارد و سؤال خودش را می‌پرسد («چه کسی؟»، «چه چیزی؟»، «کی؟»). ۲) چند لایه: خروجی یک لایه ورودی لایه‌ی بعد است؛ مدل‌های بزرگ ده‌ها لایه و در هر لایه ده‌ها سر دارند. ۳) آخر کار، مثل شاعر جلسه‌ی ۳۵، کلمه‌ی بعدی را پیش‌بینی می‌کند، با این فرق که با توجه به همه‌ی کلمه‌های قبلی نگاه می‌کند، نه فقط یکی دو تا. و Wq، Wk، Wv را کسی با دست نمی‌نویسد؛ با پس‌انتشار از میلیاردها جمله یاد گرفته می‌شوند (جلسه‌ی ۳۹).

⚠️ توجه یعنی فهمیدن نیست. جمله را عوض کن: «the cat drank the milk because it was cold». حالا it یعنی شیر. ولی وزن‌های ما هنوز می‌گویند «it دنبال چیز زنده است» و باز به cat نگاه می‌کنند! مدل ما فقط عددهایی را دنبال می‌کند که ما گذاشتیم. مدل‌های بزرگ الگوهای خیلی بهتری یاد گرفته‌اند، ولی آن‌ها هم فقط «محتمل» را می‌سازند، نه «درست» را؛ برای همین هنوز با اعتماد کامل اشتباه می‌کنند (توهم). هر جواب مهمی را از یک منبع دیگر چک کن.

cold = X.copy()
cold[8] = [0.0, 0.6, 0.0, 1.0]    # "cold" instead of "thirsty"
W = softmax_rows((cold @ Wq) @ cold.T / 2)
print(tokens[int(np.argmax(W[6]))])   # cat  (wrong: it is the milk!)

مثال‌های این جلسه

چالش‌ها

  1. Softmax One Row (آسان)
  2. Who Does It Look At? (آسان)
  3. Attention Weights (متوسط)
  4. A Word's New Meaning (متوسط)
  5. Two Heads (سخت)
  6. A Self-Attention Layer (سخت)

بیشتر بخوان

← جلسه‌ی 56: تعبیه‌ی کلمه ۲ جلسه‌ی 58: پروژه: ربات پرسش‌وپاسخ درسی →