بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 18: تمیز کردن داده Cleaning the Data

داده‌ی واقعی کثیف است: جای خالی، مقدار غلط، سطر تکراری. قبل از هر مدلی باید تمیزش کنیم، وگرنه مدل هم اشتباه یاد می‌گیرد.

در این جلسه یاد می‌گیری

درس

جدول جلسه‌ی قبل تمیز و مرتب بود. جدول واقعی این‌طور نیست! کسی خانه‌ای را خالی گذاشته، کسی به جای ۱۵۰ نوشته ۱۵، و یک سطر دو بار وارد شده. اگر همین داده را به مدل بدهیم، مدل این اشتباه‌ها را هم «یاد می‌گیرد». به این می‌گویند: آشغال داخل، آشغال بیرون.

name,age,height
Sara,12,150
Omid,,162
Nika,11,15
Arad,12,155
Arad,12,155

مشکل اول: جای خالی. وقتی Omid,,162 را با split(",") می‌شکنیم، ستون سن می‌شود '' (متن خالی). int('') خطا می‌دهد. راه ساده: قبل از عدد کردن، چک کن خالی نباشد و اگر بود، آن سطر را رد کن (continue).

for line in lines[1:]:
    row = line.split(",")
    if row[1] == "" or row[2] == "":
        print("skipping", row[0])
        continue
    print(row[0], int(row[1]), int(row[2]))

راه بهتر برای چک کردن همه‌ی ستون‌ها با هم: "" in row. اگر هر کدام از خانه‌ها خالی باشد، True می‌شود. این یک خط جای چند or را می‌گیرد.

clean = []
for line in lines[1:]:
    row = line.split(",")
    if "" in row:
        continue
    clean.append(row)
print(len(clean), "clean rows")

مشکل دوم: مقدار غلط. قد ۱۵ سانتی‌متر برای یک دانش‌آموز غیرممکن است؛ احتمالاً یک صفر جا افتاده. کامپیوتر خودش این را نمی‌فهمد، تو باید به او بگویی چه بازه‌ای معقول است: مثلاً قد بین ۱۰۰ و ۲۲۰. به مقدارهای دور از بقیه «پرت» (outlier) می‌گویند.

def ok_height(h):
    return 100 <= h <= 220

print(ok_height(150))   # True
print(ok_height(15))    # False

مشکل سوم: تکرار. سطر Arad,12,155 دو بار آمده و اگر نشماریم، میانگین اشتباه می‌شود. مجموعه (set) هر چیز را فقط یک بار نگه می‌دارد. خط را به مجموعه اضافه می‌کنیم؛ اگر قبلاً بوده، می‌فهمیم تکراری است.

seen = set()
unique = []
for line in lines[1:]:
    if line in seen:
        print("duplicate:", line)
        continue
    seen.add(line)
    unique.append(line)
print(len(unique), "unique rows")

همه را با هم در یک تابع clean_rows می‌گذاریم: جای خالی را رد کن، تکراری را رد کن، مقدار غیرممکن را رد کن، و بقیه را با عددهای واقعی برگردان. گزارش بده چند سطر دور ریختی؛ یک دانشمند داده همیشه این عدد را می‌نویسد.

def clean_rows(text):
    seen = set()
    rows = []
    dropped = 0
    for line in text.splitlines()[1:]:
        row = line.split(",")
        if "" in row or line in seen or not ok_height(int(row[2])):
            dropped = dropped + 1
            continue
        seen.add(line)
        rows.append([row[0], int(row[1]), int(row[2])])
    print("dropped", dropped)
    return rows

اشتباه رایج: به جای دور ریختن سطر خراب، آن را «درست حدس زدن». گاهی این کار درست است (مثلاً جای خالی را با میانگین پر کنیم)، ولی باید آگاهانه و با گزارش باشد. هیچ‌وقت بی‌سروصدا داده را عوض نکن. ترتیب چک‌ها هم مهم است: اول خالی بودن را چک کن، بعد int() بزن، وگرنه خطا می‌گیری.

مثال‌های این جلسه

چالش‌ها

  1. Skip the Blanks (آسان)
  2. Reasonable Height (آسان)
  3. Find the Duplicates (متوسط)
  4. Fill with the Mean (متوسط)
  5. clean_rows (سخت)
  6. Clean, then Average (سخت)

بیشتر بخوان

← جلسه‌ی 17: داده‌ی واقعی: جدول جلسه‌ی 19: آمار که مدل می‌سازد →