جلسهی 40: ارائهی نهایی Final Presentation
پروژهی پایانی را جمعبندی میکنیم: گزارش دقت و محدودیتها را با کد میسازیم، نتیجه را به زبان ساده توضیح میدهیم و به کلاس ارائه میکنیم.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم نتایج یک مدل را در یک گزارش خوانا با دقت، خطاهای نمونه و محدودیتها جمع کنم.
- در پایان این جلسه میتوانم ماتریس درهمریختگی ساده بسازم و بگویم مدل چه چیزهایی را با هم اشتباه میگیرد.
- در پایان این جلسه میتوانم پروژهام را در سه دقیقه برای کلاس توضیح دهم: مسئله، داده، مدل، نتیجه، محدودیت.
درس
جلسهی آخر! یکی از پروژههای فاز را انتخاب کن (کارنامه، تشخیص هرز، پیشبینی قیمت، شناسای رقم، شاعر کوچک) یا ترکیبشان کن، و برای ارائه آمادهاش کن. یک ارائهی خوب هوش مصنوعی پنج بخش دارد: مسئله (چه چیزی را حدس میزنیم؟)، داده (از کجا، چند تا، چقدر تمیز؟)، مدل (کدام روش و چرا؟)، نتیجه (دقت روی آزمون، نه آموزش!) و محدودیتها (کجا اشتباه میکند؟).
عدد دقت تنها کافی نیست. ماتریس درهمریختگی (confusion matrix) نشان میدهد مدل چه چیزی را با چه چیزی اشتباه گرفته: برای هر جفت (برچسب واقعی، حدس) میشماریم چند بار اتفاق افتاده. یک دیکشنری با کلید (real, guess) کافی است.
real = ["spam", "ham", "spam", "ham", "ham", "spam"]
guess = ["spam", "ham", "ham", "ham", "spam", "spam"]
matrix = {}
for r, g in zip(real, guess):
matrix[(r, g)] = matrix.get((r, g), 0) + 1
print(matrix)
# {('spam', 'spam'): 2, ('ham', 'ham'): 2, ('spam', 'ham'): 1, ('ham', 'spam'): 1}دو نوع خطا همارزش نیستند. در فیلتر هرزنامه، «پیام سالم که هرز حساب شد» بدتر است (پیام مهم دوستت گم میشود) تا «هرزی که رد شد». در تشخیص بیماری برعکس. در گزارش بنویس کدام خطا برای مسئلهی تو خطرناکتر است و مدل چند بار آن را مرتکب شده.
صداقت دربارهی محدودیتها بخش حرفهای ارائه است. چیزهایی که میتوانی بگویی: داده کم بود؛ داده از یک منبع بود؛ مدل خطی است و رابطهی خمیده را نمیگیرد؛ k-NN با ویژگیهای نرمالنشده بد کار میکرد؛ مدل احساس کنایه را نمیفهمد؛ شاعر معنی نمیفهمد. هر محدودیت را با یک مثال واقعی از خروجی مدلت نشان بده.
ارائهی سه دقیقهای: ۳۰ ثانیه مسئله، ۳۰ ثانیه داده، ۳۰ ثانیه مدل (یک جمله دربارهی اینکه چطور یاد میگیرد)، ۶۰ ثانیه نتیجه با عددها و یک نمونهی درست و یک نمونهی غلط، ۳۰ ثانیه محدودیتها و قدم بعدی. برنامهای که امروز مینویسی همهی عددهای این ارائه را تولید میکند، پس هیچ عددی را از حفظ نگو؛ همه را از خروجی کدت بخوان.
مثالهای این جلسه
چالشها
- Step 1: Accuracy Line (آسان)
- Step 2: Confusion Matrix (متوسط)
- Step 3: Worst Mistake (متوسط)
- Step 4: The Report (سخت)
بیشتر بخوان
← جلسهی 39: مدلهای بزرگ: پشت صحنه جلسهی 41: numpy: ماتریس به جای حلقه ۱ →