بتل کد Battle Codeدارد باز می‌شود…

مثال تابع (هوش مصنوعی با پایتون): def tokens(text): — RAG کوچک (۱): تکه‌ی درست را پیدا کن

مثال 4 از درس جلسه‌ی 71 آموزش هوش مصنوعی برای نوجوانان با پایتون: RAG کوچک (۱): تکه‌ی درست را پیدا کن

کلمه‌های تمیز: مثل جلسه‌ی ۳۳: حروف کوچک، علامت‌ها حذف. و این بار کلمه‌های پرتکرار بی‌معنا (stop words) مثل the، is، and را هم دور بریز؛ چون در همه‌ی تکه‌ها هستند و شباهت الکی می‌سازند.

STOP = {"the", "a", "is", "and", "of", "in", "to", "what", "how", "why"}

def tokens(text):
    words = []
    for w in text.lower().split():
        w = "".join(ch for ch in w if ch.isalpha())
        if w and w not in STOP:
            words.append(w)
    return words

print(tokens("What is the water cycle?"))   # ['water', 'cycle']

این کد را همین‌جا در ویرایشگر پایتون اجرا کن، عددها و متن‌هایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری می‌کند.

بیشتر بخوان: تابع در پایتون: آموزش def، پارامتر و return با مثال

← مثال قبلی · برگشت به درس جلسه‌ی 71: RAG کوچک (۱): تکه‌ی درست را پیدا کن · مثال بعدی → · چالش‌های این جلسه