بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 71: RAG کوچک (۱): تکه‌ی درست را پیدا کن Small RAG (1): Find the Right Piece

مدل کتاب درسی تو را نخوانده و کل کتاب هم در یک پرامپت جا نمی‌شود. RAG یعنی اول تکه‌ی مربوط را پیدا کن، بعد فقط همان را به مدل بده. امروز نیمه‌ی اول: متن را تکه‌تکه کن، کلمه‌ها را تمیز کن و شبیه‌ترین تکه را به سؤال پیدا کن.

در این جلسه یاد می‌گیری

درس

سؤال: «طبق جزوه‌ی علوم ما، میعان چیست؟» مدل جزوه‌ی کلاس تو را ندیده، پس یا حدس می‌زند یا توهم. کل کتاب را هم نمی‌شود هر بار فرستاد: گران است و در پنجره‌ی زمینه جا نمی‌شود. راه حل RAG (بازیابی + تولید): مثل امتحان کتاب‌باز. کل کتاب را نمی‌خوانی؛ صفحه‌ی درست را پیدا می‌کنی و از روی همان جواب می‌دهی.

RAG دو نیمه دارد. بازیابی (امروز): ۱) متن را تکه (chunk) کن؛ ۲) هر تکه و سؤال را به کلمه‌های تمیز تبدیل کن؛ ۳) شباهت سؤال با هر تکه را حساب کن؛ ۴) بهترین تکه را بردار. تولید (جلسه‌ی بعد): بهترین تکه را در پرامپت بگذار و از مدل بخواه فقط از روی آن جواب دهد.

تکه کردن: ساده‌ترین راه، هر size کلمه یک تکه. مشکل: ممکن است یک جمله از وسط نصف شود («This is | called condensation») و معنی بین دو تکه گم شود. راه حل: هم‌پوشانی؛ هر تکه چند کلمه‌ی آخر تکه‌ی قبلی را هم داشته باشد. اگر اندازه ۲۰ و هم‌پوشانی ۵ باشد، تکه‌ها از کلمه‌ی ۰، ۱۵، ۳۰... شروع می‌شوند (قدم = ۲۰ − ۵).

def chunk_words(text, size):
    words = text.split()
    chunks = []
    for start in range(0, len(words), size):
        chunks.append(" ".join(words[start:start + size]))
    return chunks

کلمه‌های تمیز: مثل جلسه‌ی ۳۳: حروف کوچک، علامت‌ها حذف. و این بار کلمه‌های پرتکرار بی‌معنا (stop words) مثل the، is، and را هم دور بریز؛ چون در همه‌ی تکه‌ها هستند و شباهت الکی می‌سازند.

STOP = {"the", "a", "is", "and", "of", "in", "to", "what", "how", "why"}

def tokens(text):
    words = []
    for w in text.lower().split():
        w = "".join(ch for ch in w if ch.isalpha())
        if w and w not in STOP:
            words.append(w)
    return words

print(tokens("What is the water cycle?"))   # ['water', 'cycle']

شباهت ژاکارد: دو مجموعه کلمه را در نظر بگیر. تعداد کلمه‌های مشترک ÷ تعداد کل کلمه‌های متفاوت. اگر هیچ مشترکی نباشد ۰، اگر دقیقاً یکی باشند ۱. در پایتون: len(a & b) / len(a | b) (اشتراک و اجتماع مجموعه‌ها). بهترین تکه آن است که بیشترین امتیاز را دارد؛ و اگر بیشترین امتیاز هم ۰ است، یعنی هیچ تکه‌ای مربوط نیست، و این را باید صادقانه گفت.

def jaccard(a, b):
    a, b = set(a), set(b)
    if not a or not b:
        return 0
    return len(a & b) / len(a | b)

print(jaccard(["rain", "clouds"], ["clouds", "form", "sky"]))   # 0.25

روش ما کلمه‌به‌کلمه است و form و forms را دو کلمه‌ی جدا می‌بیند، rain و shower را هم بی‌ربط. سیستم‌های واقعی به جای کلمه از بردار معنا (embedding) استفاده می‌کنند: یک شبکه‌ی عصبی هر متن را به چند صد عدد تبدیل می‌کند، طوری که متن‌های هم‌معنا بردارهای نزدیک داشته باشند؛ بعد درست مثل k-NN جلسه‌ی ۲۲ نزدیک‌ترین را پیدا می‌کنند. ایده همان است که امروز می‌سازی.

⚠️ بازیابی هم اشتباه می‌کند. اگر تکه‌ی غلط پیدا شود، مدل با خیال راحت از روی تکه‌ی غلط جواب می‌دهد. پس همیشه نشان بده جواب از کدام تکه آمده تا آدم بتواند چک کند. ⚠️ و حریم خصوصی: در RAG تکه‌ها برای مدل فرستاده می‌شوند. دفتر خاطرات، پیام‌های دوستانت یا کارنامه‌ی دیگران را هرگز در متن RAG نگذار.

مثال‌های این جلسه

چالش‌ها

  1. Cut into Chunks (آسان)
  2. Clean Words Only (آسان)
  3. Chunks That Overlap (متوسط)
  4. How Similar? (متوسط)
  5. The Best Chunk, or None (سخت)
  6. The Top k (سخت)

بیشتر بخوان

← جلسه‌ی 70: پروژه: دستیار درس جلسه‌ی 72: RAG کوچک (۲): از روی جزوه جواب بده →