جلسهی 56: تعبیهی کلمه ۲ Word Embeddings 2
با بردار کلمهها میشود حساب کرد: king − man + woman ≈ queen. قیاسهای دیگر، بردار جمله با میانگین گرفتن، شباهت دو جمله، و اینکه تعبیهها چطور کلیشههای جامعه را یاد میگیرند و چطور یک بعد سوگیر را خنثی کنیم.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم با جمع و تفریق بردارها قیاس بسازم (
king - man + woman) و نزدیکترین کلمه را به جز سه کلمهی ورودی پیدا کنم. - در پایان این جلسه میتوانم برای یک جمله با میانگین بردار کلمههایش یک بردار بسازم.
- در پایان این جلسه میتوانم شبیهترین جمله به یک پرسش را با شباهت کسینوسی پیدا کنم.
- در پایان این جلسه میتوانم سوگیری در تعبیهها را با یک مثال نشان دهم و یک بعد سوگیر را خنثی کنم.
درس
جلسهی قبل هر کلمه یک فلش بود. فلشها را میشود جمع و تفریق کرد! بعدهای امروز: royal (سلطنتی)، male (مرد)، adult (بزرگسال)، person (آدم). king - man یعنی «پادشاه منهای مرد بودن» = تقریباً «سلطنتی بودن». حالا + woman: سلطنتی + زن = ؟ نتیجه را با queen مقایسه کن.
import numpy as np
people = {
"king": np.array([0.95, 0.95, 0.9, 1.0]),
"queen": np.array([0.9, 0.1, 0.85, 1.0]),
"man": np.array([0.05, 0.95, 0.9, 1.0]),
"woman": np.array([0.05, 0.05, 0.9, 1.0]),
"prince": np.array([0.9, 0.95, 0.2, 1.0]),
"princess": np.array([0.9, 0.05, 0.2, 1.0]),
"boy": np.array([0.05, 0.95, 0.1, 1.0]),
"girl": np.array([0.05, 0.05, 0.1, 1.0]),
}
target = people["king"] - people["man"] + people["woman"]
print(np.round(target, 2)) # [0.95 0.05 0.9 1. ]
print(people["queen"]) # [0.9 0.1 0.85 1. ] very close!به این قیاس میگوییم: «man به king مثل woman به ؟». برای پیدا کردن جواب، نزدیکترین کلمه به target را با کسینوس پیدا میکنیم، ولی سه کلمهی ورودی را کنار میگذاریم؛ چون نتیجه معمولاً به خود king یا woman هم خیلی نزدیک است و جواب «king» به درد نمیخورد.
def cosine(a, b):
return a @ b / (np.linalg.norm(a) * np.linalg.norm(b))
def analogy(words, a, b, c):
target = words[b] - words[a] + words[c]
best, best_score = None, -2
for w in words:
if w in (a, b, c):
continue
s = cosine(target, words[w])
if s > best_score:
best, best_score = w, s
return best
print(analogy(people, "man", "king", "woman")) # queen
print(analogy(people, "boy", "prince", "girl")) # princessهمین حساب برای شهر و کشور هم کار میکند، به شرط اینکه بعدها درست انتخاب شوند: city، capital، country و سه بعد «مال کدام کشور است». paris - france یعنی «پایتخت بودن»؛ به اضافهی iran میشود tehran. و isfahan - tehran + tokyo یعنی «یک شهر بزرگ ژاپن که پایتخت نیست»: kyoto.
places = {
"paris": np.array([1.0, 1.0, 0.0, 0.0, 1.0, 0.0]),
"france": np.array([0.0, 0.0, 1.0, 0.0, 1.0, 0.0]),
"tehran": np.array([1.0, 1.0, 0.0, 1.0, 0.0, 0.0]),
"isfahan": np.array([1.0, 0.0, 0.0, 1.0, 0.0, 0.0]),
"iran": np.array([0.0, 0.0, 1.0, 1.0, 0.0, 0.0]),
"tokyo": np.array([1.0, 1.0, 0.0, 0.0, 0.0, 1.0]),
"japan": np.array([0.0, 0.0, 1.0, 0.0, 0.0, 1.0]),
"kyoto": np.array([1.0, 0.0, 0.0, 0.0, 0.0, 1.0]),
}
print(analogy(places, "france", "paris", "iran")) # tehran
print(analogy(places, "tehran", "isfahan", "tokyo")) # kyotoدر سال ۲۰۱۳ پژوهشگرهای word2vec همین king - man + woman ≈ queen را در بردارهای ۳۰۰بعدیای دیدند که خود ماشین از متن یاد گرفته بود. هیچکس به آن نگفته بود «سلطنتی» یا «جنسیت» چیست؛ این جهتها خودشان از جملهها بیرون آمده بودند. ما بعدها را با دست نوشتیم تا ببینیم چرا این حساب کار میکند.
از کلمه به جمله: سادهترین بردار جمله، میانگین بردار کلمههایش است. کلمههایی که در دیکشنری نیستند (the، chased) را رد میکنیم. np.mean(vectors, axis=0) میانگین را ستون به ستون میگیرد، یعنی یک بردار هماندازهی بردار کلمهها میدهد. با همان کسینوس، دو جمله را مقایسه میکنیم.
# words: the animal / food / vehicle dictionary of session 55
def sentence_vector(text):
vectors = [words[w] for w in text.lower().split() if w in words]
return np.mean(vectors, axis=0)
a = sentence_vector("The cat chased the dog")
b = sentence_vector("a puppy and a kitten")
c = sentence_vector("we took the bus")
print(round(float(cosine(a, b)), 3)) # 0.692
print(round(float(cosine(a, c)), 3)) # 0.263محدودیت میانگین: ترتیب کلمهها گم میشود، درست مثل کیسهی کلمات. «dog bites man» و «man bites dog» یک بردار دارند، ولی یکی خبر نیست و یکی خبر صفحهی اول است! و کلمهی ناشناس (مثل late یا not) کاملاً نادیده گرفته میشود. جلسهی بعد «توجه» (attention) را میبینیم که برای همین مشکل ساخته شد.
⚠️ سوگیری در تعبیهها. در سال ۲۰۱۶ پژوهشگرها روی تعبیههای واقعی (یادگرفته از اخبار) حساب کردند doctor - man + woman و جواب گرفتند nurse! ماشین از متنها یاد گرفته بود که دکتر «مرد» است و پرستار «زن»، چون در متنها بیشتر اینطور نوشته شده بود. ما این را عمداً با یک بعد gender سوگیر میسازیم: دکتر 0.6 (مردانه)، پرستار -0.6. یک برنامهی استخدام که با این بردارها رزومهها را مقایسه کند، بیآنکه کسی بخواهد، تبعیض میگذارد.
# dims: person, gender (+1 man, -1 woman), medical, surgery, school, machines
jobs = {
"man": np.array([1.0, 1.0, 0.0, 0.0, 0.0, 0.0]),
"woman": np.array([1.0, -1.0, 0.0, 0.0, 0.0, 0.0]),
"doctor": np.array([1.0, 0.6, 1.0, 0.8, 0.0, 0.0]),
"nurse": np.array([1.0, -0.6, 1.0, 0.3, 0.0, 0.0]),
"teacher": np.array([1.0, -0.4, 0.0, 0.0, 1.0, 0.0]),
"engineer": np.array([1.0, 0.7, 0.0, 0.0, 0.0, 1.0]),
}
print(analogy(jobs, "man", "doctor", "woman")) # nurse (biased!)درمان: شغل جنسیت ندارد. سادهترین راه، حذف کامل بعد gender است (np.delete(v, 1)). حالا doctor - man + woman دقیقاً خود doctor میشود (شباهت 1.0). راه دقیقتری که پژوهشگرها پیشنهاد کردند: بعد جنسیت را فقط برای کلمههایی صفر کنیم که نباید جنسیت داشته باشند (شغلها) و برای man و woman نگهش داریم؛ در سؤال آخر همین را مینویسی. یادت باشد: درمان هم کامل نیست، چون سوگیری در بعدهای دیگر هم پنهان میشود.
fixed = {w: np.delete(v, 1) for w, v in jobs.items()}
target = fixed["doctor"] - fixed["man"] + fixed["woman"]
print(round(float(cosine(target, fixed["doctor"])), 3)) # 1.0مثالهای این جلسه
- مثال دیکشنری (هوش مصنوعی با پایتون): people = {
- مثال تابع (هوش مصنوعی با پایتون): def cosine(a, b): — تعبیهی کلمه ۲
- مثال دیکشنری (هوش مصنوعی با پایتون): places = {
- مثال تابع (هوش مصنوعی با پایتون): def sentence_vector(text):
- مثال دیکشنری (هوش مصنوعی با پایتون): jobs = {
- مثال دیکشنری (هوش مصنوعی با پایتون): fixed = {w: np.delete(v, 1) for w, v in job…
چالشها
- King Minus Man (آسان)
- A City Analogy (آسان)
- Write the Analogy (متوسط)
- Sentence Vectors (متوسط)
- Closest Sentence (سخت)
- Neutralise the Bias (سخت)
بیشتر بخوان
- دیکشنری در پایتون: آموزش کامل کلید و مقدار با مثال
- تابع در پایتون: آموزش def، پارامتر و return با مثال
← جلسهی 55: تعبیهی کلمه ۱ جلسهی 57: توجه (attention) با مثال ساده →