جلسهی 58: پروژه: ربات پرسشوپاسخ درسی Project: Lesson Q&A Bot
یک ربات کوچک میسازیم که به پرسشها دربارهی درسهای همین دوره جواب میدهد: پاراگرافهای درس را به بردار تبدیل میکند، شبیهترین را با کسینوس پیدا میکند، جواب آمادهاش را میدهد، اگر مطمئن نبود میگوید «نمیدانم» و منبعش را نشان میدهد.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم یک پایگاه دانش کوچک از پاراگرافهای درس و جوابهای آماده بسازم.
- در پایان این جلسه میتوانم متن را توکن کنم، واژهنامه بسازم و هر متن را به یک بردار numpy تبدیل کنم.
- در پایان این جلسه میتوانم با شباهت کسینوسی بهترین پاراگراف را برای یک پرسش پیدا کنم و زیر یک آستانه بگویم «نمیدانم».
- در پایان این جلسه میتوانم سه منبع اول را با امتیازشان نشان دهم و فرق «بازیابی» با «تولید متن» را توضیح دهم.
درس
پروژهی امروز: یک ربات پرسشوپاسخ برای درسهای همین دوره. میپرسی «overfitting چیست؟» و ربات جواب میدهد و میگوید از کدام جلسه آورده. ولی این ربات هیچچیز از خودش نمیسازد؛ مثل کتابدار مدرسه است که خودش جواب را نمیداند ولی میداند جواب در کدام صفحهی کدام کتاب است. به این روش بازیابی (retrieval) میگوییم.
شش قدم پروژه که یک برنامه را کامل میکنند: ۱) پایگاه دانش: لیستی از درسها، هر کدام با عنوان، منبع، متن و جواب آماده؛ ۲) توکن کردن، واژهنامه و تبدیل متن به بردار (کیسهی کلمات جلسهی ۳۳، این بار با numpy)؛ ۳) کسینوس پرسش با همهی درسها (جلسهی ۵۵)؛ ۴) بهترین درس و جواب آمادهاش؛ ۵) آستانه: اگر شباهت کم بود «نمیدانم، از معلمت بپرس»؛ ۶) پرسش با input() و نشان دادن سه منبع اول با امتیاز.
هر درس یک دیکشنری است. text جملهای است که ربات با آن مقایسه میکند (پر از کلمههای کلیدی)، و answer جوابی است که یک آدم نوشته و چک کرده. ربات فقط انتخاب میکند کدام جواب را بدهد. اگر جواب غلط باشد، تقصیر نویسندهی پایگاه دانش است و میشود پیدایش کرد و درستش کرد.
LESSONS = [
{"title": "overfitting", "source": "session 48",
"text": "overfitting is when a model memorises the training data and does badly on new test data",
"answer": "Overfitting means the model memorised its training examples and fails on new ones."},
# ... eight more lessons
]کلمههای پرتکرار و بیمعنی مثل what، is، the در همهی پرسشها هستند و شباهت الکی میسازند (مثل بعد big در جلسهی ۵۵). برای همین یک مجموعهی STOP از «کلمههای توقف» داریم که موقع توکن کردن دور ریخته میشوند. «What is ReLU?» بعد از توکن کردن فقط ['relu'] است.
def tokenize(text):
clean = "".join(ch if ch.isalpha() else " " for ch in text.lower())
return [w for w in clean.split() if w not in STOP]
print(tokenize("What is ReLU?")) # ['relu']آستانه (threshold) مهمترین قسمت صداقت ربات است. بیشترین شباهت همیشه یک درس را برنده میکند، حتی برای «who won the football match» که به هیچ درسی ربط ندارد! اگر بیشترین شباهت کمتر از 0.25 بود، ربات به جای جواب دادن میگوید I don't know, ask your teacher.. ربات خوب میداند چه چیزی را نمیداند.
محدودیتها را بشناس: ربات ما memorise و memorises را دو کلمهی جدا میبیند و نمیداند picture و image هممعنیاند. اگر زود تمام کردی: ۱) به جای کیسهی کلمات از میانگین بردارهای دستساز جلسهی ۵۶ استفاده کن تا هممعنیها را بفهمد؛ ۲) دو درس تازه به LESSONS اضافه کن؛ ۳) آستانه را ۰.۱ و ۰.۵ کن و ببین چند پرسش «نمیدانم» میگیرند.
ربات ما در برابر ChatGPT: ChatGPT جواب را کلمه به کلمه تولید میکند (جلسهی ۳۹)، پس میتواند چیزی بگوید که در هیچ کتابی نیست. ربات ما فقط پیدا میکند. سیستمهای واقعی جدید هر دو را با هم دارند و به آن RAG میگویند: اول مثل ربات ما پاراگرافهای مرتبط را پیدا میکنند، بعد آنها را به یک مدل زبانی میدهند تا با کمک همانها جواب بنویسد و منبع بیاورد.
⚠️ ربات ما هیچوقت چیزی از خودش نمیسازد: یا یکی از جوابهایی را میدهد که یک آدم نوشته، یا میگوید «نمیدانم» و منبع را نشان میدهد. یک چتبات تولیدکننده با همان اعتماد به نفس جواب غلط هم میسازد (توهم). و دربارهی تقلب: اگر جواب تکلیفت را از یک ربات کپی کنی، تقلب است و خودت چیزی یاد نگرفتهای. استفادهی درست همان کاری است که ربات ما میکند: پیدا کردن صفحهی درس (Sources: overfitting (session 48)) تا خودت بروی و بخوانی.
مثالهای این جلسه
- مثال لیست (هوش مصنوعی با پایتون): LESSONS = [
- مثال list comprehension (هوش مصنوعی با پایتون): return [w for w in clean.split() if w not i…
چالشها
- Step 1: The Lesson Notes (آسان)
- Step 2: Words to Numbers (آسان)
- Step 3: Compare with Every Lesson (متوسط)
- Step 4: The Best Answer (متوسط)
- Step 5: Say I Don't Know (سخت)
- Step 6: Cite Your Sources (سخت)
بیشتر بخوان
- لیست در پایتون: آموزش کامل list با مثال، متدها و نکتهها
- list comprehension در پایتون: از حلقه for تا یک خط کد
← جلسهی 57: توجه (attention) با مثال ساده جلسهی 59: یادگیری تقویتی ۱ →