جلسهی 50: درخت تصمیم ۱ Decision Tree 1
به جای اینکه قانون «اگر... آنوقت...» را خودمان بنویسیم، کامپیوتر بهترین سؤال را پیدا میکند. ناخالصی جینی یک گروه را حساب میکنیم، هر ویژگی و هر آستانه را امتحان میکنیم و یک درخت یکسؤالی (کُنده) میسازیم.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم ناخالصی جینی یک گروه برچسب را با
1 - Σp²حساب کنم. - در پایان این جلسه میتوانم یک گروه را با سؤال «ویژگی کمتر از آستانه» به دو گروه تقسیم کنم.
- در پایان این جلسه میتوانم با جینی وزندار، بهترین سؤال را بین همهی ویژگیها و آستانهها پیدا کنم.
- در پایان این جلسه میتوانم یک کُنده (درخت یکسؤالی) بسازم و با آن پیشبینی کنم.
درس
یادت هست در جلسهی ۲ چتبات را با if و elif ساختیم و در جلسهی ۲۱ بهترین آستانه را برای یک ویژگی پیدا کردیم؟ آن قانونها را ما مینوشتیم. درخت تصمیم همان بازی بیست سؤالی جلسهی ۵ است، با یک فرق بزرگ: این بار کامپیوتر خودش از روی داده تصمیم میگیرد چه سؤالی، با چه عددی، اول پرسیده شود.
دادهی امروز: ۱۴ روز از کلاس ما. دما، چند ساعت تکلیف داشتیم، باران آمد یا نه (۰ یا ۱)، و آیا بعد از مدرسه فوتبال بازی کردیم. قانون دستی «اگر باران نیامد و تکلیف کمتر از ۳ ساعت بود» ۱۳ روز از ۱۴ را درست میگوید. میخواهیم کامپیوتر خودش چنین قانونی پیدا کند.
temp,homework,rain,play
24,1,0,yes
30,0,0,yes
18,3,0,no
22,2,1,no
...سؤال خوب کدام است؟ سؤالی که بعد از جواب دادنش، گروهها «خالص» شوند: یک طرف همه yes، طرف دیگر همه no. برای اندازه گرفتن ناخالصی از جینی استفاده میکنیم: 1 - Σp² که p سهم هر برچسب است. یک پاکت پاستیل را تصور کن: اگر همه توتفرنگی باشند جینی ۰ است؛ نصف توتفرنگی نصف لیمو، ۰.۵. هرچه قاطیتر، بیشتر.
def gini(group):
if len(group) == 0:
return 0.0
score = 1.0
for c in sorted(set(group)):
p = group.count(c) / len(group)
score -= p * p
return scoreیک سؤال در درخت ما همیشه این شکل است: «آیا ویژگی f کمتر از t است؟» ردیفهایی که جوابشان بله است به چپ میروند، بقیه به راست. مثلاً «تکلیف کمتر از ۲ ساعت؟»: چپ ۸ روز با ۶ yes، راست ۶ روز با ۱ yes. هر دو طرف از کل جدول (نصفنصف) خالصترند.
برای امتیاز دادن به یک سؤال، جینی دو طرف را میانگین وزندار میگیریم: طرفی که ردیف بیشتری دارد مهمتر است. چرا؟ یک گروه خالصِ یکنفره ارزش زیادی ندارد اگر بقیهی ۱۳ نفر قاطی بمانند. امتیاز کمتر یعنی سؤال بهتر: temp < 24 میشود ۰.۴۰۸، rain < 1 ۰.۳۶۴ و homework < 2 ۰.۳۳۳.
def weighted_gini(left, right):
n = len(left) + len(right)
return len(left) / n * gini(left) + len(right) / n * gini(right)حالا یادگیری واقعی: همهی سؤالهای ممکن را امتحان کن. برای هر ویژگی، هر مقدارِ متفاوتش (به جز کوچکترین) یک آستانه است؛ در جدول ما روی هم ۱۸ سؤال. کمترین امتیاز برنده است. این همان کاری است که در جلسهی ۲۱ برای یک ویژگی کردیم، فقط حالا برای همهی ویژگیها و با جینی.
درختی که فقط یک سؤال دارد اسمش کُنده (stump) است: «اگر تکلیف کمتر از ۲ ساعت است: yes، وگرنه: no». هر طرف برچسبِ اکثریتِ خودش را میگوید. ۱۱ روز از ۱۴ درست است، کمتر از قانون دستی ما! چون کُنده باران را نمیبیند: برای یک روز بارانی با یک ساعت تکلیف هم میگوید yes. جلسهی بعد سؤالهای بیشتری اضافه میکنیم.
⚠️ اگر از یک چتبات بخواهی «یک decision tree در پایتون بنویس»، در چند ثانیه کد میدهد، احتمالاً با یک کتابخانهی آماده، و تو هیچوقت نمیفهمی چرا homework < 2 برنده شد. تابع best_split که امروز خودت مینویسی، کل راز درخت تصمیم است. قانون ما: کدی که هوش مصنوعی میدهد را فقط وقتی استفاده کن که بتوانی هر خطش را برای دوستت توضیح دهی؛ در جلسهی ۵۲ باید توضیح بدهی مشاورت چرا یک رشته را پیشنهاد کرد.
مثالهای این جلسه
- مثال پایتون (هوش مصنوعی با پایتون): temp,homework,rain,play
- مثال تابع (هوش مصنوعی با پایتون): def gini(group):
- مثال تابع (هوش مصنوعی با پایتون): def weighted_gini(left, right):
چالشها
- A Hand Rule (آسان)
- Gini of a Group (آسان)
- Split the Group (متوسط)
- Weighted Gini (متوسط)
- The Best Question (سخت)
- A Stump (سخت)