جلسهی 53: کانولوشن با دست ۱ Convolution by Hand 1
تصویر را صاف نمیکنیم و دوبعدی نگه میداریم. یک پنجرهی ۳×۳ (فیلتر) را روی تصویر میلغزانیم و در هر جا یک سؤال میپرسیم: «اینجا لبه هست؟»؛ این همان کانولوشن است.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم یک تصویر را به شکل آرایهی دوبعدی numpy بسازم و با کاراکتر چاپ کنم.
- در پایان این جلسه میتوانم یک تکهی ۳×۳ از تصویر را با برش
img[r:r+3, c:c+3]جدا کنم و با فیلتر ضرب و جمع کنم. - در پایان این جلسه میتوانم کانولوشن را با دو حلقهی تودرتو بنویسم و اندازهی خروجی (
n - k + 1) را بگویم. - در پایان این جلسه میدانم فیلتر لبهی عمودی و فیلتر محو کردن (میانگین) چه چیزی را پیدا میکنند.
درس
در جلسههای ۴۵ تا ۴۷ هر رقم ۵×۵ را به یک ردیف ۲۵تایی صاف کردیم و به شبکه دادیم. شبکه نمیدانست پیکسل ۷ دقیقاً بالای پیکسل ۱۲ است؛ برایش فقط «ورودی شمارهی ۷» بود. مثل اینکه یک عکس را نوار نوار ببُری و نوارها را پشت سر هم بچسبانی: همهی رنگها هست، ولی «همسایه بودن» گم شده. امروز تصویر را دوبعدی نگه میداریم: img[r, c] یعنی سطر r، ستون c.
import numpy as np
img = np.array([
[0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0],
[0, 0, 1, 1, 1, 0, 0],
[0, 0, 1, 1, 1, 0, 0],
[0, 0, 1, 1, 1, 0, 0],
[0, 0, 0, 0, 0, 0, 0],
[0, 0, 0, 0, 0, 0, 0],
])
print(img.shape) # (7, 7)
print(img[2, 3]) # 1 (row 2, column 3)برای دیدن تصویر، هر عدد را یک کاراکتر کن: روشن # و تاریک .. روی سطرهای آرایه حلقه بزن و هر سطر را با join به یک رشته تبدیل کن. یک مربع سفید وسط یک زمینهی سیاه میبینی.
for row in img:
print("".join("#" if v == 1 else "." for v in row))
# .......
# .......
# ..###..
# ..###..
# ..###..
# .......
# .......ایدهی اصلی: یک ذرهبین که روی عکس میلغزد و همهجا یک سؤال ثابت میپرسد. این ذرهبین یک جدول ۳×۳ از وزنهاست به اسم فیلتر یا کرنل (kernel). فیلتر زیر میپرسد «سمت راستم روشنتر از سمت چپم است؟»: ستون چپ -1، ستون راست +1. هر بار یک تکهی ۳×۳ از تصویر را با برش جدا میکنیم، خانه به خانه در فیلتر ضرب میکنیم (*، نه @) و همه را جمع میزنیم.
kernel = np.array([
[-1, 0, 1],
[-1, 0, 1],
[-1, 0, 1],
])
patch = img[1:4, 1:4] # rows 1-3, columns 1-3
print(patch)
print(patch * kernel) # cell by cell
print((patch * kernel).sum()) # 2: brighter on the rightحالا ذرهبین را همهجا ببریم: دو حلقهی تودرتو، یکی روی سطرها و یکی روی ستونها. چند جا جا میشود؟ در تصویر ۷تایی، پنجرهی ۳تایی از خانهی ۰ تا ۴ شروع میشود، پس اندازهی خروجی = n - k + 1 = 7 - 3 + 1 = 5. نتیجه یک تصویر جدید است به اسم نقشهی ویژگی (feature map): جواب سؤال فیلتر در هر نقطه.
def convolve(img, kernel):
n = img.shape[0]
k = kernel.shape[0]
m = n - k + 1
out = np.zeros((m, m))
for r in range(m):
for c in range(m):
patch = img[r:r + k, c:c + k]
out[r, c] = (patch * kernel).sum()
return out
fmap = convolve(img, kernel)
print(fmap.astype(int))خروجی را بخوانیم: عدد مثبت یعنی «از تاریک به روشن» (لبهی چپ مربع)، عدد منفی یعنی «از روشن به تاریک» (لبهی راست) و صفر یعنی «اینجا چیزی عوض نمیشود» (وسط مربع یا زمینهی خالی). فیلتر هیچچیز دربارهی «مربع» نمیداند؛ فقط همان یک سؤال کوچک را ۲۵ بار پرسیده و لبهها خودشان پیدا شدهاند. astype(int) فقط برای چاپ تمیزتر است.
# [[ 1 1 0 -1 -1]
# [ 2 2 0 -2 -2]
# [ 3 3 0 -3 -3]
# [ 2 2 0 -2 -2]
# [ 1 1 0 -1 -1]]یک فیلتر دیگر، یک سؤال دیگر. اگر همهی ۹ وزن 1/9 باشد، جواب هر نقطه «میانگین همسایهها» است: تصویر محو (blur) میشود و لبههای تیز نرم میشوند. همین کار را برنامههای ویرایش عکس با دکمهی Blur انجام میدهند، فقط با فیلترهای بزرگتر. پس یک تابع convolve داریم و با عوض کردن فیلتر، سؤال را عوض میکنیم.
blur = np.ones((3, 3)) / 9
print(np.round(convolve(img, blur), 2))
# [[0.11 0.22 0.33 0.22 0.11]
# [0.22 0.44 0.67 0.44 0.22]
# [0.33 0.67 1. 0.67 0.33]
# ... اشتباههای رایج: ۱) حلقه را تا range(n) بچرخانی؛ نزدیک لبهی تصویر تکه کوچکتر از ۳×۳ میشود و خطای operands could not be broadcast میگیری. باید range(n - k + 1) باشد. ۲) به جای * از @ استفاده کنی؛ @ ضرب ماتریسی است و چیز دیگری حساب میکند. ۳) .sum() را فراموش کنی و یک آرایهی ۳×۳ را در یک خانه بگذاری.
⚠️ محو کردن یعنی ناشناس کردن نیست! فیلتر محوی که نوشتی هر پیکسل را با همسایههایش میانگین میگیرد، ولی شکل کلی صورت، رنگ لباس و پسزمینه میماند و برنامههای تشخیص چهره گاهی صورت کمیمحو را هم میشناسند. اگر عکس کلاس یا دوستت را جایی میگذاری، اول اجازه بگیر و اگر کسی نمیخواهد دیده شود، صورتش را کامل بپوشان (یک مربع سیاه)، نه اینکه فقط محوش کنی.
مثالهای این جلسه
- مثال متغیر (هوش مصنوعی با پایتون): img = np.array([
- مثال حلقه for (هوش مصنوعی با پایتون): for row in img:
- مثال متغیر (هوش مصنوعی با پایتون): kernel = np.array([
- مثال تابع (هوش مصنوعی با پایتون): def convolve(img, kernel):
- مثال پایتون (هوش مصنوعی با پایتون): — کانولوشن با دست ۱
- مثال متغیر (هوش مصنوعی با پایتون): blur = np.ones((3, 3)) / 9
چالشها
- Draw the Picture (آسان)
- One Window (آسان)
- The Sliding Loop (متوسط)
- Blur It (متوسط)
- Wide Pictures (سخت)
- Find the Edges (سخت)
بیشتر بخوان
- متغیر در پایتون: تعریف، نامگذاری و تغییر مقدار با مثال
- حلقه for در پایتون: آموزش کامل با range و مثال
- تابع در پایتون: آموزش def، پارامتر و return با مثال
- پایتون چیست؟ تاریخچه، کاربردها و راه شروع
← جلسهی 52: پروژه: مشاور رشته جلسهی 54: کانولوشن با دست ۲ →