بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 22: نگهبان The Watcher

بعد از بکاپ، دومین اسکریپتی که هر کامپیوتری لازم دارد نگهبان است: چیزی که هر صبح نگاه می‌کند و فقط وقتی مشکلی هست حرف می‌زند. امروز اندازه‌ی فایل و پوشه (os.path.getsize)، هشدار وقتی از حد گذشت، و پیدا کردن فایل‌های تکراری نه با اسم، که با اثر انگشت محتوا (hashlib).

در این جلسه یاد می‌گیری

درس

🛡️ قانون این دوره: اسکریپت فقط نشان می‌دهد یا می‌سازد. اسکریپت‌های ما فایل می‌خوانند، لیست می‌کنند، می‌سازند و کپی می‌کنند؛ هیچ‌وقت چیزی را بی‌خبر پاک نمی‌کنند. همه‌چیز در یک پوشه‌ی تمرینی خالی اجرا می‌شود که هر بار از نو ساخته می‌شود، پس هر چه می‌خواهی امتحان کن: چیزی خراب نمی‌شود. روی کامپیوتر خودت هم همیشه اول یک پوشه‌ی practice بساز و فقط داخل آن کار کن.

یادت هست؟ در فاز ۳ با دیکشنری شمردیم و با حد (LIMIT) هشدار دادیم؛ در فاز ۲ با os.listdir محتوای پوشه را گرفتیم. نگهبان همین دو را روی اندازه‌ها انجام می‌دهد: چه چیزی چقدر جا گرفته، و کدام از حد گذشته.

import os

with open("notes.txt", "w") as f:
    f.write("hello")
print(sorted(os.listdir(".")))

os.path.getsize("notes.txt") اندازه‌ی فایل را به بایت می‌دهد؛ هر حرف انگلیسی یک بایت است. اندازه‌ی یک پوشه = جمع اندازه‌ی فایل‌هایش: حلقه روی os.listdir(folder) و total += os.path.getsize(os.path.join(folder, name)). برای خواناتر شدن، بایت را بر ۱۰۲۴ تقسیم کن تا کیلوبایت شود و بر ۱۰۲۴ دیگر تا مگابایت؛ در تمرین‌های ما اعداد کوچک‌اند و بایت کافی است.

import os

os.makedirs("photos", exist_ok=True)
with open("photos/a.jpg", "w") as f:
    f.write("x" * 300)
with open("photos/b.jpg", "w") as f:
    f.write("x" * 200)
total = 0
for name in os.listdir("photos"):
    total += os.path.getsize(os.path.join("photos", name))
print(f"photos: {total} bytes")

نگهبان خوب ساکت است: اگر همه‌چیز خوب باشد یک خط ALL_OK می‌گوید و بس؛ فقط وقتی پوشه‌ای از حد گذشت WARN می‌دهد، بزرگ‌ترین اول. حد را در تنظیمات نگه دار (LIMIT=1000)، چون برای هارد ۲۵۶ گیگ و ۲ ترا فرق می‌کند. این الگو برای هر چیزی که باید پایش شود یکی است: دیسک، تعداد خطاهای لاگ، تعداد فایل‌های Downloads.

LIMIT = 250
sizes = {"photos": 500, "docs": 120, "music": 300}
warned = False
for folder in sorted(sizes, key=sizes.get, reverse=True):
    if sizes[folder] > LIMIT:
        print(f"WARN {folder}: {sizes[folder]} bytes")
        warned = True
if not warned:
    print("ALL_OK")

دو فایل با اسم متفاوت می‌توانند یک محتوا داشته باشند (همان عکس، دو بار کپی شده). با اسم نمی‌شود فهمید؛ با هش می‌شود. هش یک «اثر انگشت» کوتاه از محتواست: hashlib.sha256(data).hexdigest(). محتوای یکسان همیشه همان هش را می‌دهد و کوچک‌ترین تغییر، هش را کاملاً عوض می‌کند. برای خواندن فایل به شکل بایت از open(name, "rb") استفاده کن.

import hashlib

a = hashlib.sha256(b"hello").hexdigest()
b = hashlib.sha256(b"hello").hexdigest()
c2 = hashlib.sha256(b"Hello").hexdigest()
print(a[:12], b[:12], c2[:12])
print(a == b, a == c2)

پیدا کردن تکراری‌ها همان الگوی دیکشنری است: کلید = هش، مقدار = اولین فایلی که آن هش را داشت. برای هر فایل: هش را حساب کن؛ اگر در دیکشنری هست، این فایل تکراری آن است؛ وگرنه ثبتش کن. نگهبان فقط گزارش می‌دهد (DUP b.jpg = a.jpg)؛ حذف کردن تصمیم آدم است، نه اسکریپت.

import hashlib

contents = {"a.jpg": b"same photo", "b.jpg": b"same photo", "c.jpg": b"other photo"}
seen = {}
for name in sorted(contents):
    digest = hashlib.sha256(contents[name]).hexdigest()
    if digest in seen:
        print(f"DUP {name} = {seen[digest]}")
    else:
        seen[digest] = name

اشتباه‌های رایج: getsize روی پوشه اندازه‌ی محتوایش را نمی‌دهد؛ باید خودت جمع بزنی. فایل را برای هش با "rb" باز کن، نه "r"؛ sha256 بایت می‌خواهد (text.encode() برای رشته). و دو فایل هم‌اسم در دو پوشه تکراری نیستند مگر هششان یکی باشد.

مثال‌های این جلسه

چالش‌ها

  1. Why the Hash? (آسان)
  2. File Sizes (آسان)
  3. Folder Watcher (متوسط)
  4. Fingerprints (متوسط)
  5. (Harder) Duplicate Files (سخت)
  6. (Harder) The Morning Report (سخت)

بیشتر بخوان

← جلسه‌ی 21: سر ساعت جلسه‌ی 23: منوی دستیار →