جلسهی 10: فیلتر و شمارش Filter and Count
«کدام IP بیشتر از همه تلاش کرده وارد شود؟» این سؤال را هر مدیر سروری هر روز میپرسد. جوابش یک الگوست که در همهی اسکریپتها تکرار میشود: با دیکشنری بشمار، بعد مرتب کن. همان کاری که sort | uniq -c | sort -rn در ترمینال میکند.
در این جلسه یاد میگیری
- با
counts[key] = counts.get(key, 0) + 1هر چیزی را میشماری. - دیکشنری را با
sorted(counts)به ترتیب حروف و باsorted(counts, key=counts.get, reverse=True)به ترتیب تعداد مرتب میکنی. - پرتکرارترین مورد را پیدا میکنی و مواردی که از یک حد گذشتهاند را جدا میکنی.
- میدانی این الگو همان
sort | uniq -cخط فرمان است.
درس
🛡️ قانون این دوره: اسکریپت فقط نشان میدهد یا میسازد. اسکریپتهای ما فایل میخوانند، لیست میکنند، میسازند و کپی میکنند؛ هیچوقت چیزی را بیخبر پاک نمیکنند. همهچیز در یک پوشهی تمرینی خالی اجرا میشود که هر بار از نو ساخته میشود، پس هر چه میخواهی امتحان کن: چیزی خراب نمیشود. روی کامپیوتر خودت هم همیشه اول یک پوشهی practice بساز و فقط داخل آن کار کن.
یادت هست؟ جلسهی پیش سه سطح لاگ را با سه شمارنده و if/elif شمردیم. اگر صد IP مختلف داشته باشیم چه؟ صد شمارنده؟ نه. یک دیکشنری: کلیدش چیزی که میشماری، مقدارش تعداد.
counts = {"INFO": 2, "ERROR": 1}
counts["ERROR"] = counts["ERROR"] + 1
print(counts)الگوی شمارش با دیکشنری یک خط است: counts[ip] = counts.get(ip, 0) + 1. get(ip, 0) تعداد فعلی را میدهد، و اگر این IP را اولین بار است میبینیم، 0. این خط را حفظ کن؛ در هر اسکریپت گزارشگیری هست.
ips = ["198.51.100.7", "203.0.113.5", "198.51.100.7", "198.51.100.7"]
counts = {}
for ip in ips:
counts[ip] = counts.get(ip, 0) + 1
print(counts)یک دیکشنری ترتیب چاپ قابل اعتمادی برای گزارش ندارد، پس مرتبش کن. sorted(counts) کلیدها را به ترتیب حروف میدهد. برای هر کلید، counts[key] تعدادش است. این دقیقاً خروجی sort | uniq -c در ترمینال است: هر چیز یک بار، با تعدادش.
counts = {"203.0.113.5": 1, "198.51.100.7": 3}
for ip in sorted(counts):
print(f"{counts[ip]} {ip}")برای «پرتکرارترین اول»، به ترتیب تعداد مرتب کن: sorted(counts, key=counts.get, reverse=True). key=counts.get یعنی «برای مرتب کردن، تعدادِ هر کلید را نگاه کن» و reverse=True یعنی از زیاد به کم. اولین عضو این لیست، پرتکرارترین است. (در ترمینال: | sort -rn.)
counts = {"203.0.113.5": 1, "198.51.100.7": 3, "192.0.2.9": 2}
top = sorted(counts, key=counts.get, reverse=True)
print(top)
print(f"Most frequent: {top[0]} ({counts[top[0]]} times)")کاربرد دفاعی: اگر یک IP پنج بار پشت سر هم FAIL خورده، احتمالاً دارد رمز را حدس میزند. اسکریپت نگهبان فقط IPهایی را گزارش میکند که از حد گذشتهاند. حد را بالای اسکریپت در یک متغیر بگذار (LIMIT = 5) تا بعداً راحت عوض شود.
LIMIT = 3
fails = {"203.0.113.5": 1, "198.51.100.7": 4}
for ip in sorted(fails):
if fails[ip] >= LIMIT:
print(f"ALERT {ip}: {fails[ip]} failed logins")اشتباه رایج: counts[ip] += 1 وقتی ip هنوز در دیکشنری نیست KeyError میدهد؛ همیشه با get(ip, 0) شروع کن. و اگر دو IP تعداد برابر داشته باشند، sorted(..., key=counts.get) ترتیب ورودشان را نگه میدارد؛ برای اینکه گزارش هر بار یکی باشد، اول به حروف مرتب کن و بعد به تعداد: sorted(sorted(counts), key=counts.get, reverse=True).
مثالهای این جلسه
- مثال دیکشنری (اسکریپتنویسی با پایتون): counts = {"INFO": 2, "ERROR": 1}
- مثال دیکشنری (اسکریپتنویسی با پایتون): counts[ip] = counts.get(ip, 0) + 1
- مثال حلقه for (اسکریپتنویسی با پایتون): for ip in sorted(counts):
- مثال f-string (اسکریپتنویسی با پایتون): print(f"Most frequent: {top[0]} ({counts[to…
- مثال حلقه for (اسکریپتنویسی با پایتون): for ip in sorted(fails):
چالشها
- What Is in the Dictionary? (آسان)
- uniq -c (آسان)
- The Noisiest IP (متوسط)
- sort -rn (متوسط)
- (Harder) The Guard (سخت)
- (Harder) Busiest Hour (سخت)