مثال تابع (هوش مصنوعی با پایتون): def tokens(text): — RAG کوچک (۱): تکهی درست را پیدا کن
مثال 4 از درس جلسهی 71 آموزش هوش مصنوعی برای نوجوانان با پایتون: RAG کوچک (۱): تکهی درست را پیدا کن
کلمههای تمیز: مثل جلسهی ۳۳: حروف کوچک، علامتها حذف. و این بار کلمههای پرتکرار بیمعنا (stop words) مثل the، is، and را هم دور بریز؛ چون در همهی تکهها هستند و شباهت الکی میسازند.
STOP = {"the", "a", "is", "and", "of", "in", "to", "what", "how", "why"}
def tokens(text):
words = []
for w in text.lower().split():
w = "".join(ch for ch in w if ch.isalpha())
if w and w not in STOP:
words.append(w)
return words
print(tokens("What is the water cycle?")) # ['water', 'cycle']
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال
← مثال قبلی · برگشت به درس جلسهی 71: RAG کوچک (۱): تکهی درست را پیدا کن · مثال بعدی → · چالشهای این جلسه