جلسهی 33: لاگ بخوان Read the Log
سرورها هر اتفاق را در یک «لاگ» مینویسند. یاد میگیریم خطهای لاگ را با split بخوانیم، با Counter بشماریم و بازهی زمانی را فیلتر کنیم.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم یک خط لاگ را به بخشهایش بشکنم و زمان، کاربر و IP را جدا کنم.
- در پایان این جلسه میتوانم با
Counterتعداد شکستهای هر کاربر و هر IP را بشمارم. - در پایان این جلسه میتوانم خطهای یک بازهی زمانی را فیلتر کنم.
- در پایان این جلسه میتوانم یک تابع
parse_lineبنویسم که خط را به دیکشنری تبدیل کند.
درس
⚠️ لاگ یعنی خاطرات یک سرور، و خواندن لاگِ دیگران بدون اجازه مثل خواندن دفترچهی خاطرات کسی است. امروز فقط لاگی را میخوانیم که خودمان داخل برنامه نوشتهایم؛ هیچ سرور، شبکه یا حساب واقعی در کار نیست. هرچه یاد میگیری دفاعی است: برای اینکه حملهها را ببینی، نه اینکه انجامشان بدهی. اگر روزی در لاگ واقعی مدرسه چیز عجیبی دیدی، به معلم یا ادمین بگو.
هر بار کسی وارد سایت میشود (یا نمیتواند وارد شود)، سرور یک خط مینویسد: کِی، چه اتفاقی، چه کسی، از کدام آدرس. به این فایل لاگ میگویند. نگهبان خوب هر روز لاگ را میخواند، چون حملهها اول آنجا دیده میشوند.
LOG = '''
1700000000 LOGIN FAIL user=ali ip=10.0.0.5
1700000012 LOGIN OK user=sara ip=10.0.0.7
1700000025 LOGIN FAIL user=ali ip=10.0.0.5
'''.strip()عدد اول «زمان یونیکس» است: تعداد ثانیهها از اول سال ۱۹۷۰. عددهای بزرگ ولی خیلی راحت: اختلاف دو زمان یعنی چند ثانیه بینشان گذشته. 1700000012 - 1700000000 یعنی ۱۲ ثانیه بعد. ما همیشه زمانهای ثابت مینویسیم تا خروجی برنامه عوض نشود.
خواندن یک خط دو قدم دارد: اول splitlines() متن را به خطها میشکند، بعد split() هر خط را روی فاصلهها به تکهها. تکهی ۰ زمان است، تکهی ۲ نتیجه (OK یا FAIL)، تکهی ۳ کاربر و تکهی ۴ آدرس.
line = "1700000000 LOGIN FAIL user=ali ip=10.0.0.5"
parts = line.split()
print(parts[0]) # 1700000000
print(parts[2]) # FAIL
print(parts[3]) # user=aliuser=ali هنوز دو تکه است: کلید و مقدار. با split("=") جدایشان کن و [1] مقدار را بردار. زمان هم متن است؛ برای مقایسه باید int() شود.
user = parts[3].split("=")[1] # ali
ip = parts[4].split("=")[1] # 10.0.0.5
ts = int(parts[0]) # 1700000000collections.Counter یک دیکشنری شمارنده است. هر بار fails[user] += 1 میکنی، اگر کلید نبود خودش از صفر شروع میکند. most_common(1) پرتکرارترین را میدهد: لیستی از جفتهای (کلید, تعداد).
from collections import Counter
fails = Counter()
for line in LOG.splitlines():
parts = line.split()
if parts[2] == "FAIL":
fails[parts[3].split("=")[1]] += 1
print(fails) # Counter({'ali': 2})
print(fails.most_common(1)) # [('ali', 2)]فیلتر زمانی ساده است: خط را نگه دار اگر start <= ts < end. اینطور میتوانی فقط «یک دقیقهی مشکوک» را نگاه کنی. در جلسهی بعد همین ایده پایهی تشخیص حمله میشود.
def in_window(lines, start, end):
kept = []
for line in lines:
ts = int(line.split()[0])
if start <= ts < end:
kept.append(line)
return keptاشتباههای رایج: ۱) مقایسهی زمانِ متنی با عدد ("1700000000" < 1700000060 خطا میدهد؛ اول int). ۲) فراموش کردن .strip() و بعد داشتن یک خط خالی که split() آن لیست خالی میدهد و parts[2] خطای IndexError. ۳) شمردن OK و FAIL با هم؛ همیشه اول نتیجه را چک کن.
مثالهای این جلسه
- مثال رشته (امنیت سایبری با پایتون): '''.strip()
- مثال رشته (امنیت سایبری با پایتون): parts = line.split()
- مثال رشته (امنیت سایبری با پایتون): user = parts[3].split("=")[1] # ali
- مثال حلقه for (امنیت سایبری با پایتون): for line in LOG.splitlines():
- مثال تابع (امنیت سایبری با پایتون): def in_window(lines, start, end):
چالشها
- How Many Lines (آسان)
- Count the Failures (آسان)
- Failures per User (متوسط)
- The Worst IP (متوسط)
- One Minute Window (سخت)
- Parse a Line (سخت)
- Failures per IP (متوسط)
- Time Window (سخت)