جلسهی 9: توهم: با اطمینان غلط میگوید Hallucination
مدل زبانی کلمهی بعدی را پیشبینی میکند، نه حقیقت را؛ برای همین گاهی به جای «نمیدانم» با اطمینان چیزی میسازد. سه راه بررسی: منبع، پرسیدن دوباره به شکل دیگر، کتاب درسی.
در این جلسه یاد میگیری
- در پایان این جلسه میدانی «توهم» هوش مصنوعی یعنی چه و چرا پیش میآید.
- میتوانی جواب ساختگی را از جواب درست جدا کنی.
- میتوانی جواب هوش مصنوعی را با یک «کتاب» (دیکشنری درست) بسنجی.
- میتوانی فقط سؤالهای بررسیشده را برای بازی مسابقه نگه داری.
درس
شکار توهم: هوش مصنوعی پنج جمله دربارهی دانشمندان و شاعران ایرانی گفته؛ دو تا ساختگیاند، ولی با همان لحن مطمئن! با همگروهیات حدس بزنید کدامها، بعد با کتاب درسی بررسی کنید:
۱. فردوسی شاهنامه را سرود.
۲. ابنسینا کتاب «قانون» را در پزشکی نوشت.
۳. حافظ شاهنامه را سرود.
۴. مریم میرزاخانی مدال فیلدز ریاضی را برد.
۵. مریم میرزاخانی جایزهی نوبل ریاضی گرفت.
توهم = دوستی که جواب نمیداند ولی با اطمینان چیزی میسازد. چرا؟ مدل زبانی یاد گرفته کلمهی بعدی چه میآید. بعد از «مریم میرزاخانی جایزهی…» کلمهی «نوبل» خیلی آشناست، پس میآیدش؛ حتی اگر جایزهی نوبل ریاضی اصلاً وجود ندارد! مدل حقیقت را نمیسنجد؛ جملهای میسازد که درست به نظر برسد.
next_word = {"the": "cat", "cat": "sat", "sat": "on", "on": "the"}
word = "the"
sentence = [word]
for i in range(5):
word = next_word[word]
sentence.append(word)
print(" ".join(sentence))سه راه بررسی: ۱. منبع: بپرس «از کجا میدانی؟» و منبع را خودت باز کن (هوش مصنوعی منبع ساختگی هم میسازد!). ۲. دوباره بپرس، به شکل دیگر: اگر جوابها فرق کرد، مطمئن نیست. ۳. کتاب درسی یا معلم: برای چیزهای مهم، همیشه.
در پایتون «کتاب» را میشود یک دیکشنری از جوابهای درست دید و جواب هوش مصنوعی را با آن مقایسه کرد. جلسهی ۱۲ از همین سؤالهای بررسیشده یک بازی مسابقه میسازی.
book = {"7 x 8": "56"}
ai_answer = "54"
if book["7 x 8"] == ai_answer:
print("ok")
else:
print("hallucination! the book says", book["7 x 8"])⚠️ مطمئن حرف زدن یعنی درست بودن نیست. هرگز جواب هوش مصنوعی را بدون بررسی در تکلیف، پروژه یا پیام به دیگران نگذار؛ مخصوصاً دربارهی سلامتی، تاریخ و آدمهای واقعی. اگر جوابی مهم است، دو منبع مستقل پیدا کن.
مثالهای این جلسه
- مثال دیکشنری در پایتون: next_word = {"the": "cat", "cat": "sat", "s…
- مثال شرط if در پایتون: if book["7 x 8"] == ai_answer:
چالشها
- True or Made Up? (آسان)
- Why Does It Make Things Up? (آسان)
- The Next-Word Machine (متوسط)
- Check Against the Book (متوسط)
- Ask Twice (سخت)
- Checked Quiz Questions (سخت)
بیشتر بخوان
← جلسهی 8: پروژه: صفحهی بازی من جلسهی 10: یادگیری یا تقلب؟ →