مثال تابع (هوش مصنوعی با پایتون): def tokens(text):
مثال 2 از درس جلسهی 33 آموزش هوش مصنوعی برای نوجوانان با پایتون: متن برای کامپیوتر
شکستن ساده با split() کار میکند، ولی Hello, و hello دو توکن متفاوت میشوند. پس اول متن را تمیز میکنیم: همهچیز کوچک، علامتها حذف. برای حذف علامتها حرف به حرف نگاه میکنیم و فقط حرف و فاصله را نگه میداریم (isalpha).
def tokens(text):
clean = ""
for ch in text.lower():
if ch.isalpha() or ch == " ":
clean = clean + ch
return clean.split()
print(tokens("Hello, hello! The cat sat."))
# ['hello', 'hello', 'the', 'cat', 'sat']
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال
برگشت به درس جلسهی 33: متن برای کامپیوتر · مثال بعدی → · چالشهای این جلسه