بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 51: درخت تصمیم ۲ Decision Tree 2

کُنده را بازگشتی می‌کنیم: هر طرفِ سؤال خودش یک درخت کوچک است. درخت را به شکل دیکشنری تودرتو می‌سازیم، با پایین رفتن از شاخه‌ها پیش‌بینی می‌کنیم، آن را به قانون‌های خوانای «اگر... وگرنه...» چاپ می‌کنیم و اثر عمق را روی بیش‌برازش می‌بینیم.

در این جلسه یاد می‌گیری

درس

کُنده‌ی جلسه‌ی قبل باران را نمی‌دید. راه‌حل: بعد از سؤال اول، هر گروه را دوباره با همان روش تقسیم کن. گروه چپ («تکلیف کمتر از ۲») خودش یک جدول کوچک است و بهترین سؤالِ خودش را دارد. یعنی یک درخت = یک سؤال + دو درختِ کوچک‌تر. تابعی که خودش را صدا می‌زند «بازگشتی» است، مثل دو آینه‌ی روبه‌رو.

درخت را با دیکشنری‌های تودرتو نگه می‌داریم. یک برگ فقط جواب دارد: {"leaf": "yes"}. یک گره سؤال دارد و دو شاخه: {"feature": 1, "threshold": 2, "left": ..., "right": ...} که هر شاخه خودش یک برگ یا گره است. پیش‌بینی یعنی از ریشه شروع کن و تا به برگ نرسیده‌ای، بسته به جواب سؤال به چپ یا راست برو.

def predict(node, row):
    while "leaf" not in node:
        if row[node["feature"]] < node["threshold"]:
            node = node["left"]
        else:
            node = node["right"]
    return node["leaf"]

تابع بازگشتی باید بداند کی بایستد، وگرنه تا ابد ادامه می‌دهد. سه قانون توقف: ۱) درخت به max_depth رسیده، ۲) کمتر از min_samples ردیف مانده (از دو نفر نمی‌شود قانون کلی ساخت)، ۳) گروه خالص است (جینی صفر). در این حالت‌ها یک برگ با برچسب اکثریت برمی‌گردانیم. اگر هر دو شاخه یک جواب دادند، سؤال بی‌فایده است و همان برگ را برمی‌گردانیم.

def build(rows, labels, depth, max_depth, min_samples):
    if depth == max_depth or len(rows) < min_samples or gini(labels) == 0:
        return {"leaf": majority(labels)}
    score, f, t = best_split(rows, labels)
    # ... split the rows into left and right ...
    left = build(left_rows, left_labels, depth + 1, max_depth, min_samples)
    right = build(right_rows, right_labels, depth + 1, max_depth, min_samples)
    return {"feature": f, "threshold": t, "left": left, "right": right}

حالا جادوی درخت: می‌توانیم آن را مثل یک برنامه‌ی پایتون چاپ کنیم! با عمق ۲ درخت فوتبال این می‌شود. هر کسی، حتی کسی که برنامه‌نویسی بلد نیست، می‌تواند بخواند و بگوید «آهان، اگر تکلیف کم بود و باران نیامد، بازی می‌کنیم». به این می‌گویند مدل قابل توضیح.

if homework < 2:
    if rain < 1:
        -> yes
    else:
        -> no
else:
    if temp < 31:
        -> no
    else:
        -> yes

شبکه‌ی عصبی جلسه‌ی ۴۷ را یادت هست؟ ۵۸۶ عدد وزن داشت و هیچ‌کدام به تنهایی معنی ندارند؛ اگر بپرسی «چرا گفتی ۸؟» جوابی ندارد جز «چون حاصل‌ضرب‌ها این شد». درخت می‌گوید دقیقاً کدام سؤال‌ها را پرسید. در کارهای مهم (وام بانکی، پرونده‌ی پزشکی، پذیرش مدرسه) این توضیح ارزش زیادی دارد، حتی اگر دقت کمی پایین‌تر باشد.

دقت کن: قانون temp < 31 در درخت فوتبال از یک روز آمده (روز ۳۱ درجه با ۲ ساعت تکلیف که بازی کردیم). درخت عمیق برای هر استثنا یک شاخه می‌سازد: همان بیش‌برازش جلسه‌ی ۴۸. برای دیدنش ۴۰ دانش‌آموز ساختگی می‌سازیم (ساعت درس، ساعت خواب، شماره‌ی ردیف نیمکت) با ۱۵٪ نتیجه‌ی غیرمنتظره، و ۴۰ نفر دیگر برای آزمون. عمق ۳ بهترین آزمون را دارد (۸۵٪)؛ عمق ۵ روی آموزش ۱۰۰٪ است و روی آزمون ۷۲٪.

if study_hours < 4:
    -> fail
else:
    if sleep_hours < 6:
        if study_hours < 8:
            -> fail
        else:
            -> pass
    else:
        -> pass

⚠️ قانونِ قابل توضیح هم می‌تواند ناعادلانه باشد. درخت عمق ۵ ما از seat_row (ردیف نیمکت) استفاده می‌کند: «اگر در ردیف ۱ یا ۲ نشستی، قبولی». این یک تصادف در ۴۰ نفر است، اما اگر چنین درختی برای انتخاب دانش‌آموز استفاده شود، بچه‌های ته کلاس بی‌دلیل ضرر می‌کنند. خوبیِ درخت این است که می‌شود قانون‌هایش را خواند؛ پس بخوان و دنبال ویژگی‌هایی بگرد که نباید تصمیم بگیرند.

مثال‌های این جلسه

چالش‌ها

  1. One More Level (آسان)
  2. Walk Down the Tree (آسان)
  3. When to Stop (متوسط)
  4. Readable Rules (متوسط)
  5. Depth vs Overfitting (سخت)
  6. Which Features Decide? (سخت)

بیشتر بخوان

← جلسه‌ی 50: درخت تصمیم ۱ جلسه‌ی 52: پروژه: مشاور رشته →