جلسهی 63: پرامپتنویسی پیشرفته ۲ Advanced Prompting 2
جواب هوش مصنوعی را داوری میکنیم: با یک معیار نمره (روبریک)، حساب ادعاهای ریاضی با پایتون، بررسی منبعها در برابر فهرست واقعی، مقایسهی دو جواب و نقد خود مدل. و اینکه کی باید هوش مصنوعی را کنار گذاشت.
در این جلسه یاد میگیری
- در پایان این جلسه میدانم چرا جواب مطمئن هوش مصنوعی میتواند غلط باشد.
- در پایان این جلسه میتوانم یک روبریک (حقیقت، قدمها، قالب، طول، منبع) بسازم و با آن به یک جواب نمره بدهم.
- در پایان این جلسه میتوانم ادعاهای ریاضی و منبعهای یک جواب را با پایتون بررسی کنم.
- در پایان این جلسه میتوانم دو جواب را با نمره مقایسه کنم و بگویم کی نباید از هوش مصنوعی استفاده کنم.
درس
جوابهای چتبات همیشه مطمئن به نظر میرسند: جملههای مرتب، شکلک، «حتماً!». اما یادت هست جلسهی ۳۹: مدل «محتمل» را میسازد، نه «درست» را. لحن مطمئن هیچ ربطی به درستی ندارد. در این اسکرینشات جواب درست 408 است.
👤 You: What is 17 × 24?
🤖 AI: Sure! 17 × 24 = 418. Hope this helps! 😊
>>> print(17 * 24)
408روبریک یعنی برگهی نمرهی معلمها: قبل از خواندن جواب، معیارها را بنویس تا لحن قشنگ گولت نزند. پنج معیار پیشنهادی، هر کدام ۰ تا ۲ نمره: حقیقت (عددها و اسمها درستاند؟)، قدمها (راهحل نشان داده شده؟)، قالب (همان شکلی که خواستم؟)، طول (نه خیلی کوتاه، نه خیلی بلند)، منبع (منبع واقعی و قابلبررسی دارد؟). جمع از ۱۰.
scores = {"facts": 2, "steps": 1, "format": 2, "length": 1, "sources": 0}
total = sum(scores.values())
print(f"score: {total}/{2 * len(scores)}") # score: 6/10ادعای ریاضی را حساب کن، باور نکن. پایتون حسابش اشتباه نمیکند. یک ادعا مثل "126 - 19 = 105" را با split تکه میکنیم: دو عدد، یک علامت و جواب ادعاشده؛ بعد خودمان حساب میکنیم و مقایسه میکنیم. اگر یک قدم غلط باشد، همهی قدمهای بعدی هم روی پایهی غلط ساخته شدهاند.
claim = "126 - 19 = 105"
left, right = claim.split(" = ")
a, op, b = left.split()
if op == "+":
real = int(a) + int(b)
elif op == "-":
real = int(a) - int(b)
else:
real = int(a) * int(b)
print(real, real == int(right)) # 107 Falseمنبع ساختگی: اگر از چتبات منبع بخواهی، گاهی کتاب یا مقالهای با اسم و نویسنده و سال کاملاً قانعکننده میسازد که اصلاً وجود ندارد. این هم توهم است. راه بررسی: اسم را در فهرست کتابخانه، سایت ناشر یا یک موتور جستوجو پیدا کن. اگر پیدا نشد، فرض کن ساختگی است. سال آینده هم نشانهی قطعی ساختگی بودن است!
👤 You: Give me 2 books to learn Python, with author and year.
🤖 AI: 1. Python Crash Course (Eric Matthes, 2015)
2. Python Spells for Young Wizards (R. Moonfield, 2018)
LIBRARY = ["Think Python", "Python Crash Course", "Automate the Boring Stuff with Python"]
title = "Python Spells for Young Wizards"
print(title in LIBRARY) # False: check it before you trust itمقایسهی دو جواب: یک سؤال را دو بار بپرس (یا از دو چتبات مختلف) و هر دو را با همان روبریک نمره بده. جوابی که نمرهی بیشتری میگیرد بهتر است، نه جوابی که طولانیتر یا مؤدبتر است. اگر نمرهها مساوی شد، یعنی روبریک نمیتواند تصمیم بگیرد و باید خودت هر دو را دقیقتر بخوانی.
از مدل بخواه خودش را نقد کند: بعد از جواب بنویس «جوابت را قدم به قدم دوباره بررسی کن؛ کدام قدم غلط است؟». خیلی وقتها اشتباهش را پیدا میکند. اما مراقب باش: گاهی جواب درست را هم «درست میکند» و خرابش میکند، چون فکر میکند تو میخواهی اشتباهی پیدا شود. نقد خود مدل کمک است، نه اثبات؛ آخرش باز هم خودت حساب کن.
👤 You: Check your answer again step by step. Is any step wrong?
🤖 AI: You're right to ask! Step 3 is wrong: 126 - 19 = 107, not 105.
So the final answer is 107.
>>> print(126 - 19)
107کی هوش مصنوعی را کنار بگذاریم؟ ۱) وقتی داری خود آن مهارت را یاد میگیری: اگر تمرین ریاضی را چتبات حل کند، مغز تو تمرین نکرده. ۲) وقتی نمیتوانی جواب را بررسی کنی و اشتباهش مهم است. ۳) برای تصمیمهای پزشکی، حقوقی یا شخصی: با یک بزرگتر یا متخصص حرف بزن. ۴) وقتی سه دور پرامپت را بهتر کردی و هنوز دور خودش میچرخد: کتاب، معلم یا دوستت را امتحان کن.
⚠️ تقلب: تحویل دادن جواب هوش مصنوعی به اسم خودت تقلب است، حتی اگر کمی عوضش کرده باشی. قانون استفادهی منصفانهی جلسهی ۳۹ را یادت باشد: از چتبات بخواه توضیح بدهد، نقد کند یا سؤال تمرینی بسازد؛ بعد خودت حل کن، و اگر از آن کمک گرفتی، بنویس کجا. معلمها جوابهای چتبات را میشناسند (همان لحن مطمئن و همان ساختار)، و مهمتر: اگر تو ننوشته باشی، چیزی یاد نگرفتهای و سر امتحان بدون چتبات تنها میمانی. ابزارهای امروز (روبریک و بررسیکنندهها) برای داوری کمک هوش مصنوعیاند، نه برای قشنگ کردن تقلب.
مثالهای این جلسه
- مثال print (هوش مصنوعی با پایتون): >>> print(17 * 24)
- مثال دیکشنری (هوش مصنوعی با پایتون): scores = {"facts": 2, "steps": 1, "format":…
- مثال شرط if (هوش مصنوعی با پایتون): if op == "+":
- مثال لیست (هوش مصنوعی با پایتون): LIBRARY = ["Think Python", "Python Crash Co…
- مثال print (هوش مصنوعی با پایتون): >>> print(126 - 19)
چالشها
- Check the Multiplication (آسان)
- Rubric Score (آسان)
- Verify Every Step (متوسط)
- Fake Source Detector (متوسط)
- Automatic Rubric (سخت)
- Which Answer Wins? (سخت)
بیشتر بخوان
- دستور print در پایتون: آموزش کامل با مثال، sep و end
- دیکشنری در پایتون: آموزش کامل کلید و مقدار با مثال
- شرط if، elif و else در پایتون: آموزش کامل با مثال
- لیست در پایتون: آموزش کامل list با مثال، متدها و نکتهها
← جلسهی 62: پرامپتنویسی پیشرفته ۱ جلسهی 64: ارائه و پورتفولیو →