بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 53: کانولوشن با دست ۱ Convolution by Hand 1

تصویر را صاف نمی‌کنیم و دوبعدی نگه می‌داریم. یک پنجره‌ی ۳×۳ (فیلتر) را روی تصویر می‌لغزانیم و در هر جا یک سؤال می‌پرسیم: «این‌جا لبه هست؟»؛ این همان کانولوشن است.

در این جلسه یاد می‌گیری

درس

در جلسه‌های ۴۵ تا ۴۷ هر رقم ۵×۵ را به یک ردیف ۲۵تایی صاف کردیم و به شبکه دادیم. شبکه نمی‌دانست پیکسل ۷ دقیقاً بالای پیکسل ۱۲ است؛ برایش فقط «ورودی شماره‌ی ۷» بود. مثل این‌که یک عکس را نوار نوار ببُری و نوارها را پشت سر هم بچسبانی: همه‌ی رنگ‌ها هست، ولی «همسایه بودن» گم شده. امروز تصویر را دوبعدی نگه می‌داریم: img[r, c] یعنی سطر r، ستون c.

import numpy as np

img = np.array([
    [0, 0, 0, 0, 0, 0, 0],
    [0, 0, 0, 0, 0, 0, 0],
    [0, 0, 1, 1, 1, 0, 0],
    [0, 0, 1, 1, 1, 0, 0],
    [0, 0, 1, 1, 1, 0, 0],
    [0, 0, 0, 0, 0, 0, 0],
    [0, 0, 0, 0, 0, 0, 0],
])
print(img.shape)      # (7, 7)
print(img[2, 3])      # 1  (row 2, column 3)

برای دیدن تصویر، هر عدد را یک کاراکتر کن: روشن # و تاریک .. روی سطرهای آرایه حلقه بزن و هر سطر را با join به یک رشته تبدیل کن. یک مربع سفید وسط یک زمینه‌ی سیاه می‌بینی.

for row in img:
    print("".join("#" if v == 1 else "." for v in row))
# .......
# .......
# ..###..
# ..###..
# ..###..
# .......
# .......

ایده‌ی اصلی: یک ذره‌بین که روی عکس می‌لغزد و همه‌جا یک سؤال ثابت می‌پرسد. این ذره‌بین یک جدول ۳×۳ از وزن‌هاست به اسم فیلتر یا کرنل (kernel). فیلتر زیر می‌پرسد «سمت راستم روشن‌تر از سمت چپم است؟»: ستون چپ -1، ستون راست +1. هر بار یک تکه‌ی ۳×۳ از تصویر را با برش جدا می‌کنیم، خانه به خانه در فیلتر ضرب می‌کنیم (*، نه @) و همه را جمع می‌زنیم.

kernel = np.array([
    [-1, 0, 1],
    [-1, 0, 1],
    [-1, 0, 1],
])
patch = img[1:4, 1:4]          # rows 1-3, columns 1-3
print(patch)
print(patch * kernel)          # cell by cell
print((patch * kernel).sum())  # 2: brighter on the right

حالا ذره‌بین را همه‌جا ببریم: دو حلقه‌ی تودرتو، یکی روی سطرها و یکی روی ستون‌ها. چند جا جا می‌شود؟ در تصویر ۷تایی، پنجره‌ی ۳تایی از خانه‌ی ۰ تا ۴ شروع می‌شود، پس اندازه‌ی خروجی = n - k + 1 = 7 - 3 + 1 = 5. نتیجه یک تصویر جدید است به اسم نقشه‌ی ویژگی (feature map): جواب سؤال فیلتر در هر نقطه.

def convolve(img, kernel):
    n = img.shape[0]
    k = kernel.shape[0]
    m = n - k + 1
    out = np.zeros((m, m))
    for r in range(m):
        for c in range(m):
            patch = img[r:r + k, c:c + k]
            out[r, c] = (patch * kernel).sum()
    return out


fmap = convolve(img, kernel)
print(fmap.astype(int))

خروجی را بخوانیم: عدد مثبت یعنی «از تاریک به روشن» (لبه‌ی چپ مربع)، عدد منفی یعنی «از روشن به تاریک» (لبه‌ی راست) و صفر یعنی «این‌جا چیزی عوض نمی‌شود» (وسط مربع یا زمینه‌ی خالی). فیلتر هیچ‌چیز درباره‌ی «مربع» نمی‌داند؛ فقط همان یک سؤال کوچک را ۲۵ بار پرسیده و لبه‌ها خودشان پیدا شده‌اند. astype(int) فقط برای چاپ تمیزتر است.

# [[ 1  1  0 -1 -1]
#  [ 2  2  0 -2 -2]
#  [ 3  3  0 -3 -3]
#  [ 2  2  0 -2 -2]
#  [ 1  1  0 -1 -1]]

یک فیلتر دیگر، یک سؤال دیگر. اگر همه‌ی ۹ وزن 1/9 باشد، جواب هر نقطه «میانگین همسایه‌ها» است: تصویر محو (blur) می‌شود و لبه‌های تیز نرم می‌شوند. همین کار را برنامه‌های ویرایش عکس با دکمه‌ی Blur انجام می‌دهند، فقط با فیلترهای بزرگ‌تر. پس یک تابع convolve داریم و با عوض کردن فیلتر، سؤال را عوض می‌کنیم.

blur = np.ones((3, 3)) / 9
print(np.round(convolve(img, blur), 2))
# [[0.11 0.22 0.33 0.22 0.11]
#  [0.22 0.44 0.67 0.44 0.22]
#  [0.33 0.67 1.   0.67 0.33]
#  ... 

اشتباه‌های رایج: ۱) حلقه را تا range(n) بچرخانی؛ نزدیک لبه‌ی تصویر تکه کوچک‌تر از ۳×۳ می‌شود و خطای operands could not be broadcast می‌گیری. باید range(n - k + 1) باشد. ۲) به جای * از @ استفاده کنی؛ @ ضرب ماتریسی است و چیز دیگری حساب می‌کند. ۳) .sum() را فراموش کنی و یک آرایه‌ی ۳×۳ را در یک خانه بگذاری.

⚠️ محو کردن یعنی ناشناس کردن نیست! فیلتر محوی که نوشتی هر پیکسل را با همسایه‌هایش میانگین می‌گیرد، ولی شکل کلی صورت، رنگ لباس و پس‌زمینه می‌ماند و برنامه‌های تشخیص چهره گاهی صورت کمی‌محو را هم می‌شناسند. اگر عکس کلاس یا دوستت را جایی می‌گذاری، اول اجازه بگیر و اگر کسی نمی‌خواهد دیده شود، صورتش را کامل بپوشان (یک مربع سیاه)، نه این‌که فقط محوش کنی.

مثال‌های این جلسه

چالش‌ها

  1. Draw the Picture (آسان)
  2. One Window (آسان)
  3. The Sliding Loop (متوسط)
  4. Blur It (متوسط)
  5. Wide Pictures (سخت)
  6. Find the Edges (سخت)

بیشتر بخوان

← جلسه‌ی 52: پروژه: مشاور رشته جلسه‌ی 54: کانولوشن با دست ۲ →