بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 56: تعبیه‌ی کلمه ۲ Word Embeddings 2

با بردار کلمه‌ها می‌شود حساب کرد: king − man + woman ≈ queen. قیاس‌های دیگر، بردار جمله با میانگین گرفتن، شباهت دو جمله، و این‌که تعبیه‌ها چطور کلیشه‌های جامعه را یاد می‌گیرند و چطور یک بعد سوگیر را خنثی کنیم.

در این جلسه یاد می‌گیری

درس

جلسه‌ی قبل هر کلمه یک فلش بود. فلش‌ها را می‌شود جمع و تفریق کرد! بعدهای امروز: royal (سلطنتی)، male (مرد)، adult (بزرگسال)، person (آدم). king - man یعنی «پادشاه منهای مرد بودن» = تقریباً «سلطنتی بودن». حالا + woman: سلطنتی + زن = ؟ نتیجه را با queen مقایسه کن.

import numpy as np

people = {
    "king":     np.array([0.95, 0.95, 0.9, 1.0]),
    "queen":    np.array([0.9, 0.1, 0.85, 1.0]),
    "man":      np.array([0.05, 0.95, 0.9, 1.0]),
    "woman":    np.array([0.05, 0.05, 0.9, 1.0]),
    "prince":   np.array([0.9, 0.95, 0.2, 1.0]),
    "princess": np.array([0.9, 0.05, 0.2, 1.0]),
    "boy":      np.array([0.05, 0.95, 0.1, 1.0]),
    "girl":     np.array([0.05, 0.05, 0.1, 1.0]),
}
target = people["king"] - people["man"] + people["woman"]
print(np.round(target, 2))     # [0.95 0.05 0.9  1.  ]
print(people["queen"])         # [0.9  0.1  0.85 1.  ]  very close!

به این قیاس می‌گوییم: «man به king مثل woman به ؟». برای پیدا کردن جواب، نزدیک‌ترین کلمه به target را با کسینوس پیدا می‌کنیم، ولی سه کلمه‌ی ورودی را کنار می‌گذاریم؛ چون نتیجه معمولاً به خود king یا woman هم خیلی نزدیک است و جواب «king» به درد نمی‌خورد.

def cosine(a, b):
    return a @ b / (np.linalg.norm(a) * np.linalg.norm(b))


def analogy(words, a, b, c):
    target = words[b] - words[a] + words[c]
    best, best_score = None, -2
    for w in words:
        if w in (a, b, c):
            continue
        s = cosine(target, words[w])
        if s > best_score:
            best, best_score = w, s
    return best


print(analogy(people, "man", "king", "woman"))    # queen
print(analogy(people, "boy", "prince", "girl"))   # princess

همین حساب برای شهر و کشور هم کار می‌کند، به شرط این‌که بعدها درست انتخاب شوند: city، capital، country و سه بعد «مال کدام کشور است». paris - france یعنی «پایتخت بودن»؛ به اضافه‌ی iran می‌شود tehran. و isfahan - tehran + tokyo یعنی «یک شهر بزرگ ژاپن که پایتخت نیست»: kyoto.

places = {
    "paris":   np.array([1.0, 1.0, 0.0, 0.0, 1.0, 0.0]),
    "france":  np.array([0.0, 0.0, 1.0, 0.0, 1.0, 0.0]),
    "tehran":  np.array([1.0, 1.0, 0.0, 1.0, 0.0, 0.0]),
    "isfahan": np.array([1.0, 0.0, 0.0, 1.0, 0.0, 0.0]),
    "iran":    np.array([0.0, 0.0, 1.0, 1.0, 0.0, 0.0]),
    "tokyo":   np.array([1.0, 1.0, 0.0, 0.0, 0.0, 1.0]),
    "japan":   np.array([0.0, 0.0, 1.0, 0.0, 0.0, 1.0]),
    "kyoto":   np.array([1.0, 0.0, 0.0, 0.0, 0.0, 1.0]),
}
print(analogy(places, "france", "paris", "iran"))      # tehran
print(analogy(places, "tehran", "isfahan", "tokyo"))   # kyoto

در سال ۲۰۱۳ پژوهشگرهای word2vec همین king - man + woman ≈ queen را در بردارهای ۳۰۰بعدی‌ای دیدند که خود ماشین از متن یاد گرفته بود. هیچ‌کس به آن نگفته بود «سلطنتی» یا «جنسیت» چیست؛ این جهت‌ها خودشان از جمله‌ها بیرون آمده بودند. ما بعدها را با دست نوشتیم تا ببینیم چرا این حساب کار می‌کند.

از کلمه به جمله: ساده‌ترین بردار جمله، میانگین بردار کلمه‌هایش است. کلمه‌هایی که در دیکشنری نیستند (the، chased) را رد می‌کنیم. np.mean(vectors, axis=0) میانگین را ستون به ستون می‌گیرد، یعنی یک بردار هم‌اندازه‌ی بردار کلمه‌ها می‌دهد. با همان کسینوس، دو جمله را مقایسه می‌کنیم.

# words: the animal / food / vehicle dictionary of session 55
def sentence_vector(text):
    vectors = [words[w] for w in text.lower().split() if w in words]
    return np.mean(vectors, axis=0)


a = sentence_vector("The cat chased the dog")
b = sentence_vector("a puppy and a kitten")
c = sentence_vector("we took the bus")
print(round(float(cosine(a, b)), 3))   # 0.692
print(round(float(cosine(a, c)), 3))   # 0.263

محدودیت میانگین: ترتیب کلمه‌ها گم می‌شود، درست مثل کیسه‌ی کلمات. «dog bites man» و «man bites dog» یک بردار دارند، ولی یکی خبر نیست و یکی خبر صفحه‌ی اول است! و کلمه‌ی ناشناس (مثل late یا not) کاملاً نادیده گرفته می‌شود. جلسه‌ی بعد «توجه» (attention) را می‌بینیم که برای همین مشکل ساخته شد.

⚠️ سوگیری در تعبیه‌ها. در سال ۲۰۱۶ پژوهشگرها روی تعبیه‌های واقعی (یادگرفته از اخبار) حساب کردند doctor - man + woman و جواب گرفتند nurse! ماشین از متن‌ها یاد گرفته بود که دکتر «مرد» است و پرستار «زن»، چون در متن‌ها بیشتر این‌طور نوشته شده بود. ما این را عمداً با یک بعد gender سوگیر می‌سازیم: دکتر 0.6 (مردانه)، پرستار -0.6. یک برنامه‌ی استخدام که با این بردارها رزومه‌ها را مقایسه کند، بی‌آن‌که کسی بخواهد، تبعیض می‌گذارد.

# dims: person, gender (+1 man, -1 woman), medical, surgery, school, machines
jobs = {
    "man":      np.array([1.0, 1.0, 0.0, 0.0, 0.0, 0.0]),
    "woman":    np.array([1.0, -1.0, 0.0, 0.0, 0.0, 0.0]),
    "doctor":   np.array([1.0, 0.6, 1.0, 0.8, 0.0, 0.0]),
    "nurse":    np.array([1.0, -0.6, 1.0, 0.3, 0.0, 0.0]),
    "teacher":  np.array([1.0, -0.4, 0.0, 0.0, 1.0, 0.0]),
    "engineer": np.array([1.0, 0.7, 0.0, 0.0, 0.0, 1.0]),
}
print(analogy(jobs, "man", "doctor", "woman"))   # nurse  (biased!)

درمان: شغل جنسیت ندارد. ساده‌ترین راه، حذف کامل بعد gender است (np.delete(v, 1)). حالا doctor - man + woman دقیقاً خود doctor می‌شود (شباهت 1.0). راه دقیق‌تری که پژوهشگرها پیشنهاد کردند: بعد جنسیت را فقط برای کلمه‌هایی صفر کنیم که نباید جنسیت داشته باشند (شغل‌ها) و برای man و woman نگهش داریم؛ در سؤال آخر همین را می‌نویسی. یادت باشد: درمان هم کامل نیست، چون سوگیری در بعدهای دیگر هم پنهان می‌شود.

fixed = {w: np.delete(v, 1) for w, v in jobs.items()}
target = fixed["doctor"] - fixed["man"] + fixed["woman"]
print(round(float(cosine(target, fixed["doctor"])), 3))   # 1.0

مثال‌های این جلسه

چالش‌ها

  1. King Minus Man (آسان)
  2. A City Analogy (آسان)
  3. Write the Analogy (متوسط)
  4. Sentence Vectors (متوسط)
  5. Closest Sentence (سخت)
  6. Neutralise the Bias (سخت)

بیشتر بخوان

← جلسه‌ی 55: تعبیه‌ی کلمه ۱ جلسه‌ی 57: توجه (attention) با مثال ساده →