جلسهی 18: پروژه: جعبهابزار آمار متن Project: Text Statistics Toolkit
یک ابزار تحلیل متن میسازیم که از تابعهای کوچک و خالص تشکیل شده است: شکستن به واژه، بسامد واژهها، بلندترین واژهها و سطح خوانایی.
در این جلسه یاد میگیری
- یک برنامهی واقعی را به تابعهای کوچک، خالص و قابل تست بشکنی.
- تابعها را با
key، پارامتر پیشفرض و تاپل برگشتی ترکیب کنی. - گزارش نهایی را در یک لایهی جدا (تابع گزارش) از منطق محاسبه بسازی.
درس
ورودی همهی مرحلهها یک خط متن انگلیسی است. هر مرحله تابعهای مرحلهی قبل را نگه میدارد و تابع تازهای اضافه میکند؛ پس کد مرحلهی قبل را کپی کن و ادامه بده.
تعریف «واژه» در این پروژه: متن را کوچک کن، با split() جدا کن و از دو طرف هر تکه علامتهای .,!?;:"'() را با strip حذف کن؛ تکههای خالی را دور بریز.
PUNCTUATION = ".,!?;:\"'()"
def tokenize(text):
words = (w.strip(PUNCTUATION) for w in text.lower().split())
return [w for w in words if w]
print(tokenize('Hello, world! "Hello" again.'))منطق را خالص نگه دار: tokenize، word_frequency و بقیه فقط داده میگیرند و داده برمیگردانند؛ تنها بخش انتهایی برنامه input و print دارد. این دقیقاً همان معماریای است که ابزارهای خط فرمان واقعی دارند.
برای مرتبسازی «بیشترین تکرار، و در تساوی الفبایی» کلید lambda item: (-item[1], item[0]) را روی items() دیکشنری به کار ببر.
مثالهای این جلسه
چالشها
- Step 1: Tokenize (آسان)
- Step 2: Word Frequency (متوسط)
- Step 3: Longest Words (متوسط)
- Step 4: Reading Level (سخت)