جلسهی 64: ارائه و پورتفولیو Presentation and Portfolio
بهترین پروژهی این فاز را مثل حرفهایها معرفی میکنیم: برنامهای که «کارت مدل» میسازد، با داده، دقت کل و دقت هر دسته، رایجترین اشتباه، محدودیتها و اخلاق. بعد ارائهی سه دقیقهای و ایدههای پورتفولیو.
در این جلسه یاد میگیری
- در پایان این جلسه میدانم کارت مدل چیست و چه بخشهایی دارد.
- در پایان این جلسه میتوانم دقت کل و دقت هر دسته را از برچسبهای واقعی و پیشبینیها حساب کنم.
- در پایان این جلسه میتوانم رایجترین اشتباه مدل را پیدا کنم و محدودیتها را صادقانه بنویسم.
- در پایان این جلسه میتوانم پروژهام را در سه دقیقه ارائه کنم و آن را به پورتفولیو اضافه کنم، بدون دادهی خصوصی.
درس
آخرین جلسهی فاز! بهترین پروژهات را انتخاب کن: شبکهی خواندن رقم (۴۷)، مشاور رشته (۵۲)، ربات پرسش و پاسخ (۵۸) یا عامل بازی (۶۱). امروز برنامهای مینویسی که برای آن یک کارت مدل چاپ کند. مثال ما شبکهی رقم است که روی ۳۰ رقم تازه آزمایش شده که همکلاسیها کشیدهاند؛ تو همان قالب را برای پروژهی خودت پر کن.
کارت مدل (model card) مثل برچسب روی بستهی خوراکی است: داخلش چیست، برای چه کسی مناسب است و برای چه کسی نه. این ایده را پژوهشگرهای گوگل در سال ۲۰۱۹ مطرح کردند و حالا شرکتهای بزرگ برای مدلهایشان کارت مدل یا «کارت سیستم» منتشر میکنند. بخشهای اصلی: اسم و نوع مدل، داده و تقسیم آموزش/آزمون، نتیجهها (کل و هر دسته)، اشتباههای رایج، محدودیتها، و ملاحظات اخلاقی: سوگیری، حریم خصوصی و کارهایی که مدل نباید برایشان استفاده شود.
دقت کل کافی نیست. مدل ما روی ۳۰ رقم تازه 73.3% گرفته، اما دقت هر رقم داستان دیگری میگوید: رقمهای ۰، ۲، ۴، ۶ و ۷ همه درست، و رقم ۸ هیچبار درست نه! برای هر رقم میشماریم چند بار در برچسب واقعی آمده و چند بارش درست حدس زده شده.
true = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] * 3
pred = [0, 1, 2, 3, 4, 5, 6, 7, 3, 9,
0, 7, 2, 3, 4, 6, 6, 7, 3, 8,
0, 1, 2, 8, 4, 6, 6, 7, 3, 9]
for d in [5, 8]:
seen = true.count(d)
right = sum(1 for t, p in zip(true, pred) if t == d and p == d)
print(d, right, "of", seen) # 5 1 of 3, then 8 0 of 3جفتهای اشتباه: هر بار مدل اشتباه کرد، جفت (واقعی، حدس) را میشماریم؛ همان ماتریس درهمریختگی جلسهی ۴۰ اما فقط خانههای اشتباه. اینجا «۸ را ۳ خواند» سه بار تکرار شده. چرا؟ نیمهی راست ۸ و ۳ در تصویر ۵ در ۵ تقریباً یکی است. این همان جملهای است که در ارائه نشان میدهد مدلت را میفهمی.
محدودیتها و اخلاق بخش جدی کارتاند، نه تزئین. هر محدودیت را با عدد یا مثال واقعی بنویس: «مجموعهی آزمون کوچک است: یک اشتباه بیشتر دقت را ۳٫۳٪ عوض میکند». برای اخلاق سه سؤال جواب بده: سوگیری (داده از چه کسانی آمده و چه کسانی جا ماندهاند؟)، حریم خصوصی (چه چیزی ذخیره نمیشود؟)، و نباید برای: کارهایی که اگر مدل اشتباه کند به آدمی آسیب میرسد، مثل نمره دادن امتحان.
ارائهی سه دقیقهای: ۳۰ ثانیه مسئله (چه چیزی را حدس میزنیم و برای چه کسی مفید است؟)، ۳۰ ثانیه داده و مدل، ۶۰ ثانیه نتیجه از روی کارت مدل (دقت کل، بدترین دسته، یک نمونهی درست و یک نمونهی غلط)، ۳۰ ثانیه محدودیتها و اخلاق، ۳۰ ثانیه «اگر وقت بیشتری داشتم...». همهی عددها را از خروجی برنامه بخوان، نه از حافظه. یک بار با تایمر جلوی بغلدستیات تمرین کن.
پورتفولیو یعنی پوشهای از بهترین کارهایت که بعدها به مدرسه، مسابقه یا کار نشان میدهی. برای هر پروژه: یک پاراگراف مسئله، کد، کارت مدل، یک اسکرینشات (مثلاً ماز turtle یا سیاست Nim) و یک جمله «چه یاد گرفتم». بعدها میتوانی آن را در صفحهای مثل GitHub بگذاری (با اجازهی خانواده). قانون طلایی: هیچ دادهی خصوصی: نه اسم و نمرهی همکلاسیها، نه عکس آدمها، نه رمز و کلید.
⚠️ صداقت و سوگیری در گزارش: عدد را همانطور که هست بگو. اگر دقت 72% است، نگو «تقریباً ۸۰ درصد»؛ اگر 73.3% است، همان را بگو. رقم ۸ با 0% را پنهان نکن؛ مهمترین خط کارت است. seed خوششانس را هم انتخاب نکن که عدد بهتری بدهد (جلسهی ۵۹). و اگر مدل فقط روی دادهی یک کلاس آزمایش شده، بنویس که برای دستخط بقیه معلوم نیست. گزارش بزکشده ممکن است باعث شود کسی به مدلی اعتماد کند که آماده نیست.
اگر زود تمام کردی: کارت مدل پروژهی دیگری را با همین برنامه بساز (فقط card، true و pred را عوض کن)، یا یک خط «اگر وقت بیشتری داشتم» به کارت اضافه کن، یا کارت را با turtle به شکل نمودار میلهای دقت هر رقم بکش.
مثالهای این جلسه
چالشها
- Step 1: Model and Data (آسان)
- Step 2: Accuracy per Digit (متوسط)
- Step 3: The Most Common Mistake (متوسط)
- Step 4: The Model Card (سخت)
بیشتر بخوان
← جلسهی 63: پرامپتنویسی پیشرفته ۲ جلسهی 65: مدل زبانی از بیرون →