بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 14: لوله و فیلتر Pipes and Filters

قدرت واقعی ترمینال: دستورهای کوچک که خروجی یکی می‌شود ورودی بعدی، با |. grep خط‌های دلخواه را رد می‌کند، wc -l می‌شمارد، sort و uniq -c همان الگوی شمارش جلسه‌ی ۱۰ را در یک خط انجام می‌دهند. و > خروجی را به‌جای صفحه در فایل می‌ریزد. امروز هر کدام را در پایتون هم می‌سازیم.

در این جلسه یاد می‌گیری

درس

🛡️ قانون این دوره: اسکریپت فقط نشان می‌دهد یا می‌سازد. اسکریپت‌های ما فایل می‌خوانند، لیست می‌کنند، می‌سازند و کپی می‌کنند؛ هیچ‌وقت چیزی را بی‌خبر پاک نمی‌کنند. همه‌چیز در یک پوشه‌ی تمرینی خالی اجرا می‌شود که هر بار از نو ساخته می‌شود، پس هر چه می‌خواهی امتحان کن: چیزی خراب نمی‌شود. روی کامپیوتر خودت هم همیشه اول یک پوشه‌ی practice بساز و فقط داخل آن کار کن.

یادت هست؟ در فاز ۳ خط‌های ERROR لاگ را با if جدا کردیم و IPها را با دیکشنری شمردیم. در ترمینال همین دو کار بدون نوشتن اسکریپت و در یک خط انجام می‌شود. ابزارهای ترمینال کوچک‌اند و هر کدام یک کار می‌کنند؛ هنرش در وصل کردن آن‌هاست.

lines = ["10:00 INFO ok", "10:01 ERROR db down", "10:02 ERROR disk full"]
errors = [line for line in lines if "ERROR" in line]
print(len(errors))

grep ERROR server.log خط‌هایی از فایل را چاپ می‌کند که ERROR دارند؛ سوزن را از انبار کاه بیرون می‌کشد. سه سوییچ پرکاربرد: -i حروف بزرگ و کوچک را یکی می‌گیرد، -v برعکس می‌کند (خط‌هایی که ندارند)، -c فقط تعداد را می‌گوید. معادل PowerShell: Select-String ERROR server.log. در پایتون grep یعنی: if pattern in line: print(line).

lines = ["10:00 INFO ok", "10:01 ERROR db down", "10:02 error disk full"]
pattern = "error"
for line in lines:
    if pattern in line.lower():      # grep -i
        print(line)

لوله (|) خروجی دستور چپ را به ورودی دستور راست می‌دهد؛ مثل خط تولید. cat server.log | grep ERROR | wc -l یعنی: فایل را بخوان → فقط خط‌های ERROR → خط‌ها را بشمار (wc -l = word count, lines). سه ابزار ساده، یک جواب. هر تکه را جدا می‌شود امتحان کرد، و همین دیباگ را آسان می‌کند.

الگوی شمارش جلسه‌ی ۱۰ در ترمینال: sort ips.txt | uniq -c | sort -rn. sort خط‌های یکسان را کنار هم می‌گذارد، uniq -c خط‌های تکراریِ پشت‌سرهم را یکی می‌کند و تعدادشان را جلویشان می‌نویسد، sort -rn به ترتیب عدد از زیاد به کم (-n عددی، -r برعکس). head -n 3 سه خط اول و tail -n 3 سه خط آخر را می‌دهد؛ tail -f log زنده می‌ماند و هر خط تازه را نشان می‌دهد.

ips = ["b", "a", "b", "c", "b", "a"]
counts = {}
for ip in ips:
    counts[ip] = counts.get(ip, 0) + 1
for ip in sorted(sorted(counts), key=counts.get, reverse=True):
    print(f"{counts[ip]} {ip}")     # sort | uniq -c | sort -rn

هر دستور خروجی‌اش را روی صفحه می‌ریزد. با > آن را به‌جای صفحه در فایل می‌ریزی: grep ERROR server.log > errors.txt (اگر فایل بود، پاکش می‌کند؛ مثل حالت "w"). با >> به آخر فایل اضافه می‌کنی (مثل "a"): هر شب echo "backup OK" >> backup.log. echo فقط متنش را چاپ می‌کند؛ print ترمینال است.

اشتباه رایج: grep error log در لینوکس خط‌های ERROR را پیدا نمی‌کند (حروف مهم‌اند): -i بزن. uniq بدون sort قبلش فقط تکراری‌های پشت‌سرهم را یکی می‌کند. و > به‌جای >> یک شب کل لاگ یک سالت را پاک می‌کند؛ قبل از Enter، علامت را دوباره نگاه کن.

مثال‌های این جلسه

چالش‌ها

  1. What Does the Pipe Do? (آسان)
  2. grep in Python (آسان)
  3. grep -i and grep -v (متوسط)
  4. sort | uniq -c (متوسط)
  5. (Harder) Run the Pipeline (سخت)
  6. (Harder) Read the Output (سخت)

بیشتر بخوان

← جلسه‌ی 13: ترمینال: من کجام؟ جلسه‌ی 15: اسکریپت Bash و PowerShell →