جلسهی 14: لوله و فیلتر Pipes and Filters
قدرت واقعی ترمینال: دستورهای کوچک که خروجی یکی میشود ورودی بعدی، با |. grep خطهای دلخواه را رد میکند، wc -l میشمارد، sort و uniq -c همان الگوی شمارش جلسهی ۱۰ را در یک خط انجام میدهند. و > خروجی را بهجای صفحه در فایل میریزد. امروز هر کدام را در پایتون هم میسازیم.
در این جلسه یاد میگیری
- با
grepخطهای دلخواه یک فایل را فیلتر میکنی (-iبدون حروف بزرگ و کوچک،-vبرعکس،-cفقط شمارش). - با
|خروجی یک دستور را به دستور بعدی میدهی:cat log | grep ERROR | wc -l. - میدانی
sort | uniq -c | sort -rnهمان شمارش با دیکشنری است وhead/tailاول و آخر را نشان میدهند. - با
>خروجی را در فایل میریزی و با>>به آخرش اضافه میکنی.
درس
🛡️ قانون این دوره: اسکریپت فقط نشان میدهد یا میسازد. اسکریپتهای ما فایل میخوانند، لیست میکنند، میسازند و کپی میکنند؛ هیچوقت چیزی را بیخبر پاک نمیکنند. همهچیز در یک پوشهی تمرینی خالی اجرا میشود که هر بار از نو ساخته میشود، پس هر چه میخواهی امتحان کن: چیزی خراب نمیشود. روی کامپیوتر خودت هم همیشه اول یک پوشهی practice بساز و فقط داخل آن کار کن.
یادت هست؟ در فاز ۳ خطهای ERROR لاگ را با if جدا کردیم و IPها را با دیکشنری شمردیم. در ترمینال همین دو کار بدون نوشتن اسکریپت و در یک خط انجام میشود. ابزارهای ترمینال کوچکاند و هر کدام یک کار میکنند؛ هنرش در وصل کردن آنهاست.
lines = ["10:00 INFO ok", "10:01 ERROR db down", "10:02 ERROR disk full"]
errors = [line for line in lines if "ERROR" in line]
print(len(errors))grep ERROR server.log خطهایی از فایل را چاپ میکند که ERROR دارند؛ سوزن را از انبار کاه بیرون میکشد. سه سوییچ پرکاربرد: -i حروف بزرگ و کوچک را یکی میگیرد، -v برعکس میکند (خطهایی که ندارند)، -c فقط تعداد را میگوید. معادل PowerShell: Select-String ERROR server.log. در پایتون grep یعنی: if pattern in line: print(line).
lines = ["10:00 INFO ok", "10:01 ERROR db down", "10:02 error disk full"]
pattern = "error"
for line in lines:
if pattern in line.lower(): # grep -i
print(line)لوله (|) خروجی دستور چپ را به ورودی دستور راست میدهد؛ مثل خط تولید. cat server.log | grep ERROR | wc -l یعنی: فایل را بخوان → فقط خطهای ERROR → خطها را بشمار (wc -l = word count, lines). سه ابزار ساده، یک جواب. هر تکه را جدا میشود امتحان کرد، و همین دیباگ را آسان میکند.
الگوی شمارش جلسهی ۱۰ در ترمینال: sort ips.txt | uniq -c | sort -rn. sort خطهای یکسان را کنار هم میگذارد، uniq -c خطهای تکراریِ پشتسرهم را یکی میکند و تعدادشان را جلویشان مینویسد، sort -rn به ترتیب عدد از زیاد به کم (-n عددی، -r برعکس). head -n 3 سه خط اول و tail -n 3 سه خط آخر را میدهد؛ tail -f log زنده میماند و هر خط تازه را نشان میدهد.
ips = ["b", "a", "b", "c", "b", "a"]
counts = {}
for ip in ips:
counts[ip] = counts.get(ip, 0) + 1
for ip in sorted(sorted(counts), key=counts.get, reverse=True):
print(f"{counts[ip]} {ip}") # sort | uniq -c | sort -rnهر دستور خروجیاش را روی صفحه میریزد. با > آن را بهجای صفحه در فایل میریزی: grep ERROR server.log > errors.txt (اگر فایل بود، پاکش میکند؛ مثل حالت "w"). با >> به آخر فایل اضافه میکنی (مثل "a"): هر شب echo "backup OK" >> backup.log. echo فقط متنش را چاپ میکند؛ print ترمینال است.
اشتباه رایج: grep error log در لینوکس خطهای ERROR را پیدا نمیکند (حروف مهماند): -i بزن. uniq بدون sort قبلش فقط تکراریهای پشتسرهم را یکی میکند. و > بهجای >> یک شب کل لاگ یک سالت را پاک میکند؛ قبل از Enter، علامت را دوباره نگاه کن.
مثالهای این جلسه
- مثال list comprehension (اسکریپتنویسی با پایتون): errors = [line for line in lines if "ERROR"…
- مثال حلقه for (اسکریپتنویسی با پایتون): for line in lines: — لوله و فیلتر
- مثال دیکشنری (اسکریپتنویسی با پایتون): counts[ip] = counts.get(ip, 0) + 1 — لوله و فیلتر
چالشها
- What Does the Pipe Do? (آسان)
- grep in Python (آسان)
- grep -i and grep -v (متوسط)
- sort | uniq -c (متوسط)
- (Harder) Run the Pipeline (سخت)
- (Harder) Read the Output (سخت)
بیشتر بخوان
- list comprehension در پایتون: از حلقه for تا یک خط کد
- حلقه for در پایتون: آموزش کامل با range و مثال
- دیکشنری در پایتون: آموزش کامل کلید و مقدار با مثال
← جلسهی 13: ترمینال: من کجام؟ جلسهی 15: اسکریپت Bash و PowerShell →