جلسهی 24: پروژه: تشخیص هرز Project: Spam Detector
پیامهای کوتاه را با شمردن کلمهها به عدد تبدیل میکنیم و با k-NN تشخیص میدهیم کدام هرز (spam) است.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم یک پیام متنی را به چند ویژگی عددی تبدیل کنم.
- در پایان این جلسه میتوانم k-NN را روی ویژگیهای متنی به کار ببرم.
- در پایان این جلسه میتوانم دقت مدلم را روی پیامهای آزمون گزارش کنم.
درس
پروژهی امروز: فیلتر هرزنامه. گوشی تو هر روز پیامهایی مثل «برنده شدی! همین حالا کلیک کن» را به پوشهی هرز میفرستد. چطور؟ با همین k-NN که بلدی، فقط ویژگیها را باید از متن بسازیم.
messages = [
("win free prize now click", "spam"),
("free money win now", "spam"),
("hi are you coming to class", "ham"),
("see you at football practice", "ham"),
]ویژگی از متن: چند کلمهی «خطرناک» انتخاب میکنیم: free، win، now، click، prize. برای هر پیام میشماریم چند تا از این کلمهها دارد. ویژگی دوم: تعداد کل کلمهها. ویژگی سوم: تعداد علامت تعجب. حالا هر پیام یک لیست عدد است و k-NN میتواند روی آن کار کند.
SPAM_WORDS = ["free", "win", "now", "click", "prize"]
def features(text):
words = text.lower().split()
spam_count = 0
for w in words:
if w in SPAM_WORDS:
spam_count = spam_count + 1
return [spam_count, len(words), text.count("!")]
print(features("Win a FREE prize now!")) # [4, 5, 1]چهار قدم پروژه: ۱) تابع features؛ ۲) ساختن X و y از لیست پیامها؛ ۳) k-NN با k=3 و حدس برای پیامهای جدید؛ ۴) دقت روی پیامهای آزمون. از جلسهی ۲۲ تابع knn را داری؛ کپی کردن کد خودت اشکالی ندارد!
محدودیتها را بشناس: مدل ما فقط پنج کلمه را میشناسد. یک هرزنامه که بنویسد «fr33 m0ney» از دستش در میرود. فیلترهای واقعی هزاران کلمه و میلیونها پیام دارند، ولی ایده همین است. در گزارش پروژهات بنویس مدل کجا اشتباه میکند.
اگر زود تمام کردی: کلمههای بیشتری به SPAM_WORDS اضافه کن، k را عوض کن و ببین دقت چه میشود، یا ویژگی چهارمی اختراع کن (مثلاً تعداد حروف بزرگ در پیام اصلی).
مثالهای این جلسه
چالشها
- Step 1: Features from Text (آسان)
- Step 2: Build X and y (متوسط)
- Step 3: Classify New Messages (متوسط)
- Step 4: Test Accuracy Report (سخت)