بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 63: پرامپت‌نویسی پیشرفته ۲ Advanced Prompting 2

جواب هوش مصنوعی را داوری می‌کنیم: با یک معیار نمره (روبریک)، حساب ادعاهای ریاضی با پایتون، بررسی منبع‌ها در برابر فهرست واقعی، مقایسه‌ی دو جواب و نقد خود مدل. و این‌که کی باید هوش مصنوعی را کنار گذاشت.

در این جلسه یاد می‌گیری

درس

جواب‌های چت‌بات همیشه مطمئن به نظر می‌رسند: جمله‌های مرتب، شکلک، «حتماً!». اما یادت هست جلسه‌ی ۳۹: مدل «محتمل» را می‌سازد، نه «درست» را. لحن مطمئن هیچ ربطی به درستی ندارد. در این اسکرین‌شات جواب درست 408 است.

👤 You: What is 17 × 24?
🤖 AI: Sure! 17 × 24 = 418. Hope this helps! 😊

>>> print(17 * 24)
408

روبریک یعنی برگه‌ی نمره‌ی معلم‌ها: قبل از خواندن جواب، معیارها را بنویس تا لحن قشنگ گولت نزند. پنج معیار پیشنهادی، هر کدام ۰ تا ۲ نمره: حقیقت (عددها و اسم‌ها درست‌اند؟)، قدم‌ها (راه‌حل نشان داده شده؟)، قالب (همان شکلی که خواستم؟)، طول (نه خیلی کوتاه، نه خیلی بلند)، منبع (منبع واقعی و قابل‌بررسی دارد؟). جمع از ۱۰.

scores = {"facts": 2, "steps": 1, "format": 2, "length": 1, "sources": 0}
total = sum(scores.values())
print(f"score: {total}/{2 * len(scores)}")      # score: 6/10

ادعای ریاضی را حساب کن، باور نکن. پایتون حسابش اشتباه نمی‌کند. یک ادعا مثل "126 - 19 = 105" را با split تکه می‌کنیم: دو عدد، یک علامت و جواب ادعاشده؛ بعد خودمان حساب می‌کنیم و مقایسه می‌کنیم. اگر یک قدم غلط باشد، همه‌ی قدم‌های بعدی هم روی پایه‌ی غلط ساخته شده‌اند.

claim = "126 - 19 = 105"
left, right = claim.split(" = ")
a, op, b = left.split()
if op == "+":
    real = int(a) + int(b)
elif op == "-":
    real = int(a) - int(b)
else:
    real = int(a) * int(b)
print(real, real == int(right))     # 107 False

منبع ساختگی: اگر از چت‌بات منبع بخواهی، گاهی کتاب یا مقاله‌ای با اسم و نویسنده و سال کاملاً قانع‌کننده می‌سازد که اصلاً وجود ندارد. این هم توهم است. راه بررسی: اسم را در فهرست کتابخانه، سایت ناشر یا یک موتور جست‌وجو پیدا کن. اگر پیدا نشد، فرض کن ساختگی است. سال آینده هم نشانه‌ی قطعی ساختگی بودن است!

👤 You: Give me 2 books to learn Python, with author and year.
🤖 AI: 1. Python Crash Course (Eric Matthes, 2015)
       2. Python Spells for Young Wizards (R. Moonfield, 2018)

LIBRARY = ["Think Python", "Python Crash Course", "Automate the Boring Stuff with Python"]
title = "Python Spells for Young Wizards"
print(title in LIBRARY)      # False: check it before you trust it

مقایسه‌ی دو جواب: یک سؤال را دو بار بپرس (یا از دو چت‌بات مختلف) و هر دو را با همان روبریک نمره بده. جوابی که نمره‌ی بیشتری می‌گیرد بهتر است، نه جوابی که طولانی‌تر یا مؤدب‌تر است. اگر نمره‌ها مساوی شد، یعنی روبریک نمی‌تواند تصمیم بگیرد و باید خودت هر دو را دقیق‌تر بخوانی.

از مدل بخواه خودش را نقد کند: بعد از جواب بنویس «جوابت را قدم به قدم دوباره بررسی کن؛ کدام قدم غلط است؟». خیلی وقت‌ها اشتباهش را پیدا می‌کند. اما مراقب باش: گاهی جواب درست را هم «درست می‌کند» و خرابش می‌کند، چون فکر می‌کند تو می‌خواهی اشتباهی پیدا شود. نقد خود مدل کمک است، نه اثبات؛ آخرش باز هم خودت حساب کن.

👤 You: Check your answer again step by step. Is any step wrong?
🤖 AI: You're right to ask! Step 3 is wrong: 126 - 19 = 107, not 105.
       So the final answer is 107.

>>> print(126 - 19)
107

کی هوش مصنوعی را کنار بگذاریم؟ ۱) وقتی داری خود آن مهارت را یاد می‌گیری: اگر تمرین ریاضی را چت‌بات حل کند، مغز تو تمرین نکرده. ۲) وقتی نمی‌توانی جواب را بررسی کنی و اشتباهش مهم است. ۳) برای تصمیم‌های پزشکی، حقوقی یا شخصی: با یک بزرگ‌تر یا متخصص حرف بزن. ۴) وقتی سه دور پرامپت را بهتر کردی و هنوز دور خودش می‌چرخد: کتاب، معلم یا دوستت را امتحان کن.

⚠️ تقلب: تحویل دادن جواب هوش مصنوعی به اسم خودت تقلب است، حتی اگر کمی عوضش کرده باشی. قانون استفاده‌ی منصفانه‌ی جلسه‌ی ۳۹ را یادت باشد: از چت‌بات بخواه توضیح بدهد، نقد کند یا سؤال تمرینی بسازد؛ بعد خودت حل کن، و اگر از آن کمک گرفتی، بنویس کجا. معلم‌ها جواب‌های چت‌بات را می‌شناسند (همان لحن مطمئن و همان ساختار)، و مهم‌تر: اگر تو ننوشته باشی، چیزی یاد نگرفته‌ای و سر امتحان بدون چت‌بات تنها می‌مانی. ابزارهای امروز (روبریک و بررسی‌کننده‌ها) برای داوری کمک هوش مصنوعی‌اند، نه برای قشنگ کردن تقلب.

مثال‌های این جلسه

چالش‌ها

  1. Check the Multiplication (آسان)
  2. Rubric Score (آسان)
  3. Verify Every Step (متوسط)
  4. Fake Source Detector (متوسط)
  5. Automatic Rubric (سخت)
  6. Which Answer Wins? (سخت)

بیشتر بخوان

← جلسه‌ی 62: پرامپت‌نویسی پیشرفته ۱ جلسه‌ی 64: ارائه و پورتفولیو →