بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 18: پروژه: جعبه‌ابزار آمار متن Project: Text Statistics Toolkit

یک ابزار تحلیل متن می‌سازیم که از تابع‌های کوچک و خالص تشکیل شده است: شکستن به واژه، بسامد واژه‌ها، بلندترین واژه‌ها و سطح خوانایی.

در این جلسه یاد می‌گیری

درس

ورودی همه‌ی مرحله‌ها یک خط متن انگلیسی است. هر مرحله تابع‌های مرحله‌ی قبل را نگه می‌دارد و تابع تازه‌ای اضافه می‌کند؛ پس کد مرحله‌ی قبل را کپی کن و ادامه بده.

تعریف «واژه» در این پروژه: متن را کوچک کن، با split() جدا کن و از دو طرف هر تکه علامت‌های .,!?;:"'() را با strip حذف کن؛ تکه‌های خالی را دور بریز.

PUNCTUATION = ".,!?;:\"'()"

def tokenize(text):
    words = (w.strip(PUNCTUATION) for w in text.lower().split())
    return [w for w in words if w]

print(tokenize('Hello, world! "Hello" again.'))

منطق را خالص نگه دار: tokenize، word_frequency و بقیه فقط داده می‌گیرند و داده برمی‌گردانند؛ تنها بخش انتهایی برنامه input و print دارد. این دقیقاً همان معماری‌ای است که ابزارهای خط فرمان واقعی دارند.

برای مرتب‌سازی «بیشترین تکرار، و در تساوی الفبایی» کلید lambda item: (-item[1], item[0]) را روی items() دیکشنری به کار ببر.

مثال‌های این جلسه

چالش‌ها

  1. Step 1: Tokenize (آسان)
  2. Step 2: Word Frequency (متوسط)
  3. Step 3: Longest Words (متوسط)
  4. Step 4: Reading Level (سخت)

بیشتر بخوان

← جلسه‌ی 17: بازگشت جلسه‌ی 19: مدیریت استثناها →