جواب «Step 1: Tokenize» چالش 1 از جلسهی 18
سؤال
تابع tokenize(text) را طبق تعریف کارت آموزشی بنویس. یک خط متن بخوان و چاپ کن:
````
Words: 9
Unique: 7
(تعداد کل واژهها و تعداد واژههای یکتا).
راهنما
تعداد یکتا را با len(set(words)) بگیر.
یک جواب درست
PUNCTUATION = ".,!?;:\"'()"
def tokenize(text):
words = (w.strip(PUNCTUATION) for w in text.lower().split())
return [w for w in words if w]
words = tokenize(input())
print(f"Words: {len(words)}")
print(f"Unique: {len(set(words))}")
اول خودت امتحان کن؛ جوابهای دیگر هم قبول است. برگرد و خودت حلش کن