جلسهی 37: پیشنهادگر The Recommender
«کسانی که این را دوست داشتند، آن را هم دوست داشتند»: با شباهت بین آدمها، فیلم یا بازی پیشنهاد میدهیم؛ همان ایدهی یوتیوب و فروشگاهها.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم امتیازهای چند نفر را در یک دیکشنری تودرتو نگه دارم.
- در پایان این جلسه میتوانم شباهت دو نفر را از امتیازهای مشترکشان حساب کنم.
- در پایان این جلسه میتوانم شبیهترین کاربر را پیدا کنم و چیزی که او دوست داشته پیشنهاد دهم.
- در پایان این جلسه میدانم چرا پیشنهادگر میتواند آدم را در «حباب» نگه دارد.
درس
یوتیوب از کجا میداند ویدیوی بعدی چه باشد؟ از تو نمیپرسد؛ به آدمهایی نگاه میکند که شبیه تو هستند. اگر تو و سارا به ۵ بازی یکسان امتیاز مشابه دادهاید و سارا بازی ششمی را دوست داشته که تو ندیدهای، احتمالاً تو هم دوستش داری. به این پالایش گروهی (collaborative filtering) میگویند.
داده: هر نفر یک دیکشنری از «بازی → امتیاز ۱ تا ۵». همهی نفرها هم در یک دیکشنری بزرگتر. به این دیکشنریِ دیکشنریها تودرتو میگوییم. ratings["sara"]["chess"] امتیاز سارا به شطرنج است.
ratings = {
"sara": {"chess": 5, "racing": 2, "puzzle": 4, "football": 1},
"omid": {"chess": 1, "racing": 5, "puzzle": 2, "football": 5},
"nika": {"chess": 4, "racing": 1, "puzzle": 5},
"arad": {"chess": 2, "racing": 4, "football": 4},
}
print(ratings["sara"]["chess"]) # 5
print("football" in ratings["nika"]) # False: she has not played itشباهت دو نفر: فقط بازیهایی را نگاه کن که هر دو امتیاز دادهاند. برای هر کدام اختلاف امتیازها را بگیر و جمع بزن؛ اختلاف کم یعنی شبیه. چون «فاصله» را داریم و «شباهت» میخواهیم، برعکسش میکنیم: 1 / (1 + distance). فاصلهی صفر میشود شباهت ۱.
def similarity(a, b):
shared = [game for game in a if game in b]
if not shared:
return 0
distance = 0
for game in shared:
distance = distance + abs(a[game] - b[game])
return 1 / (1 + distance)
print(round(similarity(ratings["sara"], ratings["nika"]), 2)) # 0.25
print(round(similarity(ratings["sara"], ratings["omid"]), 2)) # 0.07شبیهترین نفر: شباهت کاربر را با همهی بقیه حساب کن و بزرگترین را بردار؛ خودش را رد کن! دوباره همان الگوی «بهترین تا حالا».
def most_similar(user):
best = None
best_score = -1
for other in ratings:
if other == user:
continue
s = similarity(ratings[user], ratings[other])
if s > best_score:
best_score = s
best = other
return best
print(most_similar("nika")) # saraپیشنهاد: بازیهایی که شبیهترین نفر امتیاز بالا (۴ یا ۵) داده ولی کاربر هنوز بازی نکرده. نیکا فوتبال را بازی نکرده؛ سارا به فوتبال ۱ داده، پس پیشنهاد نمیشود. اما اگر آراد را نگاه کنیم، فوتبال ۴ است. پیشنهادگر خوب چند نفر شبیه را با هم میبیند، نه فقط یکی؛ درست مثل k در k-NN.
def recommend(user):
friend = most_similar(user)
result = []
for game, score in ratings[friend].items():
if game not in ratings[user] and score >= 4:
result.append(game)
return resultمحدودیت و خطر: پیشنهادگر فقط چیزهای «شبیه قبلیها» را نشان میدهد. اگر همیشه ویدیوی فوتبال دیدهای، فقط فوتبال میبینی و دنیای بیرون را نه. به این حباب فیلتر میگویند. شرکتها هم انگیزه دارند چیزی را پیشنهاد دهند که تو را بیشتر نگه دارد، نه لزوماً چیزی که برایت خوب است. دانستن اینکه پشت پیشنهادها یک فرمول ساده است، به تو قدرت انتخاب میدهد.
اشتباه رایج: مقایسهی امتیاز بازیای که یکی از دو نفر بازی نکرده؛ KeyError. همیشه اول shared را بساز. اشتباه دوم: خود کاربر را در جستوجوی «شبیهترین» رد نکردن؛ هر کس شبیهترین به خودش است و پیشنهاد خالی میماند.
مثالهای این جلسه
- مثال دیکشنری (هوش مصنوعی با پایتون): ratings = {
- مثال list comprehension (هوش مصنوعی با پایتون): shared = [game for game in a if game in b]
- مثال تابع (هوش مصنوعی با پایتون): def most_similar(user):
- مثال تابع (هوش مصنوعی با پایتون): def recommend(user):
چالشها
- Nested Lookup (آسان)
- Shared Games (آسان)
- Similarity Score (متوسط)
- Most Similar User (متوسط)
- Recommend (سخت)
- Weighted by Several Friends (سخت)