بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 55: تعبیه‌ی کلمه ۱ Word Embeddings 1

در کیسه‌ی کلمات «گربه» و «بچه‌گربه» به اندازه‌ی «گربه» و «ماشین» با هم فرق دارند. امروز هر کلمه را یک بردار کوچک می‌کنیم که معنی را نشان می‌دهد و با شباهت کسینوسی، کلمه‌های هم‌معنی را پیدا می‌کنیم.

در این جلسه یاد می‌گیری

درس

یادت هست در جلسه‌ی ۳۳ هر کلمه یک ستون جدا در کیسه‌ی کلمات داشت؟ یعنی هر کلمه یک بردار است که فقط در خانه‌ی خودش 1 دارد (one-hot). مشکل: ضرب داخلی cat و kitten صفر است و ضرب داخلی cat و car هم صفر. برای کیسه‌ی کلمات، بچه‌گربه به همان اندازه به گربه شبیه است که ماشین! فقط املای کلمه را می‌شناسد، نه معنی‌اش را.

import numpy as np

# vocabulary: car, cat, kitten
car = np.array([1, 0, 0])
cat = np.array([0, 1, 0])
kitten = np.array([0, 0, 1])
print(cat @ kitten)   # 0
print(cat @ car)      # 0  (just as different!)

ایده‌ی تازه: به جای «کدام کلمه است؟» بپرسیم «این کلمه چه ویژگی‌هایی دارد؟». مثل کارت شخصیت در یک بازی که قدرت، سرعت و جادو را با عدد نشان می‌دهد. برای هر کلمه چند عدد می‌نویسیم: چقدر حیوان است، چقدر خوراکی، چقدر وسیله‌ی نقلیه، چقدر بزرگ، چقدر بچه. به این بردار تعبیه‌ی کلمه (word embedding) می‌گوییم.

dims = ["animal", "food", "vehicle", "big", "young"]
words = {
    "cat":    np.array([1.0, 0.0, 0.0, 0.3, 0.0]),
    "kitten": np.array([1.0, 0.0, 0.0, 0.1, 1.0]),
    "dog":    np.array([1.0, 0.0, 0.0, 0.5, 0.0]),
    "puppy":  np.array([1.0, 0.0, 0.0, 0.2, 1.0]),
    "car":    np.array([0.0, 0.0, 1.0, 0.6, 0.0]),
    "bus":    np.array([0.0, 0.0, 1.0, 1.0, 0.0]),
    "pizza":  np.array([0.0, 1.0, 0.0, 0.3, 0.0]),
    "apple":  np.array([0.0, 1.0, 0.0, 0.1, 0.0]),
}
print(words["kitten"][dims.index("young")])   # 1.0

معنی یعنی جا. اگر فقط دو بعد animal و big را نگه داریم، هر کلمه یک نقطه روی کاغذ است: cat در (1, 0.3)، dog در (1, 0.5)، bus در (0, 1). کلمه‌های هم‌معنی کنار هم جمع می‌شوند و کلمه‌های بی‌ربط دور از هم. با ۵ بعد نمی‌توانیم بکشیمش، ولی ایده همان است: هر کلمه یک فلش از مبدأ در یک فضای ۵بعدی.

دو فلش چقدر هم‌جهت‌اند؟ شباهت کسینوسی: ضرب داخلی تقسیم بر حاصل‌ضرب طول‌ها. np.linalg.norm(a) طول فلش است (ریشه‌ی جمع مربع‌ها). جواب 1 یعنی کاملاً هم‌جهت، 0 یعنی بی‌ربط. چرا تقسیم بر طول؟ چون می‌خواهیم «جهت» را مقایسه کنیم، نه بزرگی را؛ وگرنه یک کلمه با عددهای بزرگ به همه‌چیز «شبیه» می‌شد.

def cosine(a, b):
    return a @ b / (np.linalg.norm(a) * np.linalg.norm(b))


print(round(float(cosine(words["cat"], words["kitten"])), 3))  # 0.696
print(round(float(cosine(words["cat"], words["dog"])), 3))     # 0.985
print(round(float(cosine(words["cat"], words["car"])), 3))     # 0.148

حالا شبیه‌ترین کلمه: روی همه‌ی کلمه‌ها بچرخ، خود کلمه را رد کن (شباهت هر کلمه با خودش همیشه 1 است) و بزرگ‌ترین شباهت را نگه دار؛ همان الگوی «بهترین تا این‌جا» از جلسه‌ی ۱۷. برای فهرست همسایه‌ها، جفت‌های (شباهت، کلمه) را بساز و با sorted(..., reverse=True) مرتب کن.

def neighbours(word):
    pairs = []
    for other in words:
        if other != word:
            s = round(float(cosine(words[word], words[other])), 3)
            pairs.append((s, other))
    return sorted(pairs, reverse=True)


print(neighbours("cat")[:3])
# [(0.985, 'dog'), (0.711, 'puppy'), (0.696, 'kitten')]

یک نکته‌ی جالب در خروجی: cat و bus شباهت 0.203 دارند! چرا؟ چون هر دو در بعد big عدد دارند. هر بعد مشترک کمی شباهت می‌سازد، حتی اگر از نظر ما بی‌ربط باشند. پس انتخاب بعدها مهم است؛ بعد بی‌ربط، شباهت الکی می‌سازد.

تعبیه‌های واقعی (مثلاً word2vec از سال ۲۰۱۳ یا لایه‌ی اول ChatGPT) صدها بعد دارند و هیچ‌کس عددهایشان را با دست نمی‌نویسد. از میلیون‌ها جمله یاد گرفته می‌شوند با یک قانون ساده: «کلمه‌هایی که در جمله‌های مشابه می‌آیند، بردار نزدیک می‌گیرند». cat و kitten هر دو بعد از «I fed my ...» می‌آیند، پس به هم نزدیک می‌شوند. بعدهای واقعی اسم ندارند؛ ما اسم گذاشتیم تا ببینیم داخلشان چه خبر است.

⚠️ عددهای words نظر ما هستند. اگر کسی یک بعد dangerous اضافه کند و به dog عدد ۱ و به cat صفر بدهد، هر برنامه‌ای که از این بردارها استفاده کند «باور» می‌کند سگ‌ها خطرناک‌اند. تعبیه‌های واقعی از متن‌هایی که آدم‌ها نوشته‌اند یاد می‌گیرند، پس نظرها و کلیشه‌های آدم‌ها را هم یاد می‌گیرند (جلسه‌ی بعد نمونه‌ی واقعی‌اش را می‌بینی). و شباهت بالا یعنی هم‌معنی نیست: در تعبیه‌های واقعی hot و cold خیلی نزدیک‌اند، چون هر دو بعد از «the water is ...» می‌آیند.

مثال‌های این جلسه

چالش‌ها

  1. How Big Is It? (آسان)
  2. The Cosine Formula (آسان)
  3. Most Similar Word (متوسط)
  4. Sorted Neighbours (متوسط)
  5. All Similarities at Once (سخت)
  6. Odd One Out (سخت)

بیشتر بخوان

← جلسه‌ی 54: کانولوشن با دست ۲ جلسه‌ی 56: تعبیه‌ی کلمه ۲ →