جلسهی 18: تمیز کردن داده Cleaning the Data
دادهی واقعی کثیف است: جای خالی، مقدار غلط، سطر تکراری. قبل از هر مدلی باید تمیزش کنیم، وگرنه مدل هم اشتباه یاد میگیرد.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم سطرهایی را که مقدار خالی دارند پیدا کنم و کنار بگذارم.
- در پایان این جلسه میتوانم مقدارهای غیرممکن (مثل قد ۱۰ یا سن ۲۰۰) را با یک شرط بگیرم.
- در پایان این جلسه میتوانم سطرهای تکراری را با یک مجموعه (
set) حذف کنم. - در پایان این جلسه میدانم چرا جملهی «آشغال داخل، آشغال بیرون» دربارهی هوش مصنوعی درست است.
درس
جدول جلسهی قبل تمیز و مرتب بود. جدول واقعی اینطور نیست! کسی خانهای را خالی گذاشته، کسی به جای ۱۵۰ نوشته ۱۵، و یک سطر دو بار وارد شده. اگر همین داده را به مدل بدهیم، مدل این اشتباهها را هم «یاد میگیرد». به این میگویند: آشغال داخل، آشغال بیرون.
name,age,height
Sara,12,150
Omid,,162
Nika,11,15
Arad,12,155
Arad,12,155مشکل اول: جای خالی. وقتی Omid,,162 را با split(",") میشکنیم، ستون سن میشود '' (متن خالی). int('') خطا میدهد. راه ساده: قبل از عدد کردن، چک کن خالی نباشد و اگر بود، آن سطر را رد کن (continue).
for line in lines[1:]:
row = line.split(",")
if row[1] == "" or row[2] == "":
print("skipping", row[0])
continue
print(row[0], int(row[1]), int(row[2]))راه بهتر برای چک کردن همهی ستونها با هم: "" in row. اگر هر کدام از خانهها خالی باشد، True میشود. این یک خط جای چند or را میگیرد.
clean = []
for line in lines[1:]:
row = line.split(",")
if "" in row:
continue
clean.append(row)
print(len(clean), "clean rows")مشکل دوم: مقدار غلط. قد ۱۵ سانتیمتر برای یک دانشآموز غیرممکن است؛ احتمالاً یک صفر جا افتاده. کامپیوتر خودش این را نمیفهمد، تو باید به او بگویی چه بازهای معقول است: مثلاً قد بین ۱۰۰ و ۲۲۰. به مقدارهای دور از بقیه «پرت» (outlier) میگویند.
def ok_height(h):
return 100 <= h <= 220
print(ok_height(150)) # True
print(ok_height(15)) # Falseمشکل سوم: تکرار. سطر Arad,12,155 دو بار آمده و اگر نشماریم، میانگین اشتباه میشود. مجموعه (set) هر چیز را فقط یک بار نگه میدارد. خط را به مجموعه اضافه میکنیم؛ اگر قبلاً بوده، میفهمیم تکراری است.
seen = set()
unique = []
for line in lines[1:]:
if line in seen:
print("duplicate:", line)
continue
seen.add(line)
unique.append(line)
print(len(unique), "unique rows")همه را با هم در یک تابع clean_rows میگذاریم: جای خالی را رد کن، تکراری را رد کن، مقدار غیرممکن را رد کن، و بقیه را با عددهای واقعی برگردان. گزارش بده چند سطر دور ریختی؛ یک دانشمند داده همیشه این عدد را مینویسد.
def clean_rows(text):
seen = set()
rows = []
dropped = 0
for line in text.splitlines()[1:]:
row = line.split(",")
if "" in row or line in seen or not ok_height(int(row[2])):
dropped = dropped + 1
continue
seen.add(line)
rows.append([row[0], int(row[1]), int(row[2])])
print("dropped", dropped)
return rowsاشتباه رایج: به جای دور ریختن سطر خراب، آن را «درست حدس زدن». گاهی این کار درست است (مثلاً جای خالی را با میانگین پر کنیم)، ولی باید آگاهانه و با گزارش باشد. هیچوقت بیسروصدا داده را عوض نکن. ترتیب چکها هم مهم است: اول خالی بودن را چک کن، بعد int() بزن، وگرنه خطا میگیری.
مثالهای این جلسه
- مثال پایتون (هوش مصنوعی با پایتون): name,age,height — تمیز کردن داده
- مثال حلقه for (هوش مصنوعی با پایتون): for line in lines[1:]: — تمیز کردن داده
- مثال حلقه for (هوش مصنوعی با پایتون): for line in lines[1:]: — تمیز کردن داده 2
- مثال تابع (هوش مصنوعی با پایتون): def ok_height(h):
- مثال حلقه for (هوش مصنوعی با پایتون): for line in lines[1:]: — تمیز کردن داده 2 3
- مثال تابع (هوش مصنوعی با پایتون): def clean_rows(text):
چالشها
- Skip the Blanks (آسان)
- Reasonable Height (آسان)
- Find the Duplicates (متوسط)
- Fill with the Mean (متوسط)
- clean_rows (سخت)
- Clean, then Average (سخت)
بیشتر بخوان
- پایتون چیست؟ تاریخچه، کاربردها و راه شروع
- حلقه for در پایتون: آموزش کامل با range و مثال
- تابع در پایتون: آموزش def، پارامتر و return با مثال
← جلسهی 17: دادهی واقعی: جدول جلسهی 19: آمار که مدل میسازد →