بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 14: وقتی هوش مصنوعی اشتباه می‌کند When AI Gets It Wrong

توهم (جواب ساختگی با اعتمادبه‌نفس)، سوگیری داده، و این‌که چطور جواب هوش مصنوعی را بررسی کنی.

در این جلسه یاد می‌گیری

درس

مدل زبانی کلمه‌ی بعدی را پیش‌بینی می‌کند، نه حقیقت را. وقتی جواب را نمی‌داند، چیزی می‌سازد که شبیه جواب درست است. به این توهم (hallucination) می‌گویند. مثال آماده:

PROMPT:  Who was the first person to walk on Mars?

ANSWER:  The first person to walk on Mars was Commander Lisa Harding in
         2031, during the Ares 3 mission...

REALITY: Nobody has walked on Mars (as of today). The model invented a
         name, a date and a mission. It sounds confident, but it is false.

توهم خطرناک است چون با اعتمادبه‌نفس گفته می‌شود. مدل نمی‌گوید «مطمئن نیستم». تاریخ، عدد، اسم کتاب، لینک و نقل‌قول بیشترین جای توهم‌اند. قانون: هر عدد و اسمی که مدل گفت، در یک منبع دیگر چک کن.

اشتباه دوم سوگیری (bias) است. مدل از داده یاد می‌گیرد؛ اگر داده ناعادلانه باشد، مدل هم ناعادلانه می‌شود. جلسه‌ی ۳ هم این را دیدیم. مثال:

Training data: 1000 photos of "doctor"
   men:   940
   women:   60

Prompt: "Draw a doctor."
Model output: a man, 9 times out of 10.
The model learned the data's imbalance, not the real world.

سوگیری را می‌توان شمرد. برای هر گروه بشمار چند مثال داریم و نسبتش را حساب کن. اگر گروهی خیلی کم است، مدل درباره‌ی آن گروه بد عمل می‌کند. این را با همان دیکشنری شمارش انجام می‌دهیم.

data = ["man"] * 94 + ["woman"] * 6
counts = {}
for d in data:
    counts[d] = counts.get(d, 0) + 1
for group in counts:
    print(group, counts[group], "->", counts[group] * 100 // len(data), "%")

سه راه بررسی جواب هوش مصنوعی: ۱) منبع بخواه و خودت منبع را باز کن (لینک ساختگی زیاد است!). ۲) با منبع مطمئن مقایسه کن: کتاب درسی، سایت رسمی، معلم. ۳) دوباره بپرس به شکل دیگر؛ اگر دو جواب متفاوت داد، دست‌کم یکی غلط است.

⚠️ هشدار جدی: برای سلامتی، دارو، قانون و پول هیچ‌وقت فقط به هوش مصنوعی اعتماد نکن. یک توهم در این موضوع‌ها می‌تواند به کسی آسیب بزند. همیشه با یک آدم متخصص (دکتر، معلم، والدین) حرف بزن.

مثال‌های این جلسه

چالش‌ها

  1. Spot the Hallucination (آسان)
  2. Trust or Check? (آسان)
  3. Count the Bias (متوسط)
  4. Fact Checker (متوسط)
  5. Ask Twice (سخت)
  6. Balance the Data (سخت)

بیشتر بخوان

← جلسه‌ی 13: مدل‌های زبانی و پرامپت جلسه‌ی 15: اخلاق و آینده →