بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 24: پروژه: تشخیص هرز Project: Spam Detector

پیام‌های کوتاه را با شمردن کلمه‌ها به عدد تبدیل می‌کنیم و با k-NN تشخیص می‌دهیم کدام هرز (spam) است.

در این جلسه یاد می‌گیری

درس

پروژه‌ی امروز: فیلتر هرزنامه. گوشی تو هر روز پیام‌هایی مثل «برنده شدی! همین حالا کلیک کن» را به پوشه‌ی هرز می‌فرستد. چطور؟ با همین k-NN که بلدی، فقط ویژگی‌ها را باید از متن بسازیم.

messages = [
    ("win free prize now click", "spam"),
    ("free money win now", "spam"),
    ("hi are you coming to class", "ham"),
    ("see you at football practice", "ham"),
]

ویژگی از متن: چند کلمه‌ی «خطرناک» انتخاب می‌کنیم: free، win، now، click، prize. برای هر پیام می‌شماریم چند تا از این کلمه‌ها دارد. ویژگی دوم: تعداد کل کلمه‌ها. ویژگی سوم: تعداد علامت تعجب. حالا هر پیام یک لیست عدد است و k-NN می‌تواند روی آن کار کند.

SPAM_WORDS = ["free", "win", "now", "click", "prize"]

def features(text):
    words = text.lower().split()
    spam_count = 0
    for w in words:
        if w in SPAM_WORDS:
            spam_count = spam_count + 1
    return [spam_count, len(words), text.count("!")]

print(features("Win a FREE prize now!"))   # [4, 5, 1]

چهار قدم پروژه: ۱) تابع features؛ ۲) ساختن X و y از لیست پیام‌ها؛ ۳) k-NN با k=3 و حدس برای پیام‌های جدید؛ ۴) دقت روی پیام‌های آزمون. از جلسه‌ی ۲۲ تابع knn را داری؛ کپی کردن کد خودت اشکالی ندارد!

محدودیت‌ها را بشناس: مدل ما فقط پنج کلمه را می‌شناسد. یک هرزنامه که بنویسد «fr33 m0ney» از دستش در می‌رود. فیلترهای واقعی هزاران کلمه و میلیون‌ها پیام دارند، ولی ایده همین است. در گزارش پروژه‌ات بنویس مدل کجا اشتباه می‌کند.

اگر زود تمام کردی: کلمه‌های بیشتری به SPAM_WORDS اضافه کن، k را عوض کن و ببین دقت چه می‌شود، یا ویژگی چهارمی اختراع کن (مثلاً تعداد حروف بزرگ در پیام اصلی).

مثال‌های این جلسه

چالش‌ها

  1. Step 1: Features from Text (آسان)
  2. Step 2: Build X and y (متوسط)
  3. Step 3: Classify New Messages (متوسط)
  4. Step 4: Test Accuracy Report (سخت)

بیشتر بخوان

← جلسه‌ی 23: آموزش / آزمون جلسه‌ی 25: رگرسیون با دو ویژگی →