جلسهی 37: ایتریتورها و ژنراتورها Iterators and Generators
پروتکل تکرار در پایتون را از درون میشناسیم و با yield داده را تنبل (lazy) و کممصرف تولید میکنیم.
در این جلسه یاد میگیری
- تفاوت
iterableوiteratorرا توضیح بدهم و باiterوnextکار کنم. - یک کلاس بنویسم که پروتکل تکرار (
__iter__و__next__) را پیاده میکند. - تابع ژنراتور با
yieldو عبارت ژنراتوری بنویسم و ارزیابی تنبل را درک کنم. - چند ژنراتور را پشت هم به شکل یک
pipelineپردازش داده وصل کنم.
درس
هر چیزی که بتوان روی آن for زد یک iterable است (لیست، رشته، دیکشنری، فایل). تابع iter از آن یک iterator میسازد؛ شیئی که با هر next عنصر بعدی را میدهد و در پایان StopIteration پرتاب میکند. حلقهی for دقیقاً همین کار را پشت صحنه انجام میدهد.
it = iter(["a", "b"])
print(next(it)) # a
print(next(it)) # b
print(next(it, None)) # None instead of StopIterationپروتکل تکرار (iterator protocol) فقط دو متد است: __iter__ که خود iterator را برمیگرداند و __next__ که مقدار بعدی را میدهد یا StopIteration پرتاب میکند. هر کلاسی که این دو را داشته باشد در for، list و sum قابل استفاده است.
class Range2:
def __init__(self, stop):
self.i, self.stop = 0, stop
def __iter__(self):
return self
def __next__(self):
if self.i >= self.stop:
raise StopIteration
self.i += 1
return self.i - 1نوشتن کلاس iterator پرکار است. تابع ژنراتور (generator function) همان کار را ساده میکند: هر جا yield بیاید، تابع مقدار را تحویل میدهد و همانجا متوقف (suspend) میشود تا next بعدی. وضعیت متغیرهای محلی حفظ میشود.
def countdown(n):
while n > 0:
yield n
n -= 1
print(list(countdown(3))) # [3, 2, 1]عبارت ژنراتوری (generator expression) شبیه list comprehension است اما با پرانتز. لیستی در حافظه ساخته نمیشود؛ مقادیر فقط وقتی لازم شوند محاسبه میشوند (lazy evaluation). برای sum، max و any روی دادهی بزرگ انتخاب درست همین است. یادتان باشد ژنراتور فقط یک بار مصرف میشود.
total = sum(x * x for x in range(1_000_000))
gen = (n for n in [1, 2])
print(list(gen), list(gen)) # [1, 2] []ژنراتورها را میتوان پشت هم وصل کرد: خروجی یکی ورودی دیگری است و هر عنصر یکییکی از کل pipeline عبور میکند. yield from هم همهی مقادیر یک iterable دیگر را تحویل میدهد و برای بازگشت (recursion) روی ساختارهای تودرتو عالی است.
def numbers(lines):
for line in lines:
yield int(line)
def positives(values):
yield from (v for v in values if v > 0)
print(list(positives(numbers(["3", "-1", "5"]))))مثالهای این جلسه
- مثال متغیر در پایتون: it = iter(["a", "b"])
- مثال کلاس و شیء در پایتون: class Range2:
- مثال تابع در پایتون: def countdown(n): — ایتریتورها و ژنراتورها
- مثال تاپل و مجموعه در پایتون: gen = (n for n in [1, 2])
- مثال تابع در پایتون: def numbers(lines):
چالشها
- Manual Iteration (آسان)
- Countdown Generator (آسان)
- Lazy Sum of Squares (آسان)
- Iterator Class (متوسط)
- Even Numbers on Demand (متوسط)
- First Negative (متوسط)
- Batches (متوسط)
- Infinite Fibonacci (سخت)
- Config Pipeline (سخت)
- Flatten with yield from (سخت)
- Exhausted Generator (متوسط)
- Running Average (سخت)