بتل کد Battle Codeدارد باز می‌شود…

جلسه‌ی 54: کانولوشن با دست ۲ Convolution by Hand 2

از یک فیلتر به یک شبکه‌ی کانولوشنی کوچک: فیلتر افقی و عمودی، ReLU روی نقشه‌ی ویژگی، max-pooling، چند فیلتر با هم و این‌که چرا CNN با وزن‌های خیلی کم، گربه را هر جای عکس پیدا می‌کند.

در این جلسه یاد می‌گیری

درس

فیلتر جلسه‌ی قبل می‌پرسید «راستم روشن‌تر از چپم است؟». اگر فیلتر را ترانهاده کنیم (kernel.T، یعنی سطرها ستون شوند)، سؤال عوض می‌شود: «پایینم روشن‌تر از بالایم است؟». این فیلتر لبه‌های افقی را پیدا می‌کند: روی همان مربع، بالای مربع مثبت و پایینش منفی می‌شود.

V = np.array([[-1, 0, 1],
              [-1, 0, 1],
              [-1, 0, 1]])
H = V.T
print(H)                         # [[-1 -1 -1] [0 0 0] [1 1 1]]
print(convolve(img, H).astype(int))
# [[ 1  2  3  2  1]
#  [ 1  2  3  2  1]
#  [ 0  0  0  0  0]
#  [-1 -2 -3 -2 -1]
#  [-1 -2 -3 -2 -1]]

در جلسه‌ی ۴۳ ReLU را در لایه‌ی پنهان دیدی: منفی‌ها صفر می‌شوند. روی نقشه‌ی ویژگی هم همین کار را می‌کنیم: فقط جواب‌های «بله» می‌مانند (این‌جا از تاریک به روشن هست) و بقیه صفر. با numpy یک خط است: np.maximum(0, fmap)؛ هر خانه با ۰ مقایسه می‌شود و بزرگ‌تره می‌ماند.

fmap = convolve(img, V)
relu = np.maximum(0, fmap)
print(relu.astype(int))
# [[1 1 0 0 0]
#  [2 2 0 0 0]
#  [3 3 0 0 0]
#  [2 2 0 0 0]
#  [1 1 0 0 0]]

Max-pooling نقشه را کوچک می‌کند: نقشه را به خانه‌های ۲×۲ تقسیم کن و از هر خانه فقط بزرگ‌ترین عدد را نگه دار. مثل نماینده‌ی کلاس که از هر میز چهارنفره فقط بلندترین صدا را به مدیر گزارش می‌دهد. نقشه نصف می‌شود (۴×۴ می‌شود ۲×۲)، محاسبه‌ی بعدی سریع‌تر می‌شود و اگر لبه یک پیکسل جابه‌جا شود، جواب تقریباً همان می‌ماند.

def max_pool(fmap):
    m = fmap.shape[0] // 2
    out = np.zeros((m, m))
    for r in range(m):
        for c in range(m):
            block = fmap[2 * r:2 * r + 2, 2 * c:2 * c + 2]
            out[r, c] = block.max()
    return out


fm = np.array([[1, 0, 2, 4],
               [3, 1, 0, 1],
               [0, 0, 0, 2],
               [5, 0, 1, 0]])
print(max_pool(fm).astype(int))   # [[3 4] [5 2]]

یک فیلتر = یک سؤال = یک نقشه. چند فیلتر = چند نقشه‌ی ویژگی که روی هم چیده می‌شوند. لایه‌ی اول یک CNN واقعی ۳۲ یا ۶۴ فیلتر دارد (لبه‌ی عمودی، افقی، مورب، لکه، رنگ...). لایه‌ی دوم فیلترهایش را روی نقشه‌های لایه‌ی اول می‌لغزاند و چیزهای بزرگ‌تر می‌سازد: لبه‌ها گوشه می‌شوند، گوشه‌ها چشم، چشم‌ها صورت.

maps = np.array([np.maximum(0, convolve(img, k)) for k in (V, H)])
print(maps.shape)     # (2, 5, 5): 2 maps, each 5x5

اشتراک وزن (weight sharing): همان ۹ وزن فیلتر در همه‌ی جاهای تصویر استفاده می‌شود. حالا بشمار: یک لایه‌ی کامل (dense) که هر ۳۶ پیکسل یک عکس ۶×۶ را به ۳۶ خروجی وصل کند، ۳۶ × ۳۶ = ۱۲۹۶ وزن دارد. فیلتر ۳×۳ فقط ۹ وزن! برای عکس ۱۰۰×۱۰۰ لایه‌ی کامل صد میلیون وزن می‌خواهد و فیلتر هنوز ۹ تا. وزن کمتر یعنی آموزش سریع‌تر و داده‌ی کمتر و حفظ کردن (overfitting جلسه‌ی ۴۸) کمتر.

n = 6
print("dense:", (n * n) * (n * n))   # 1296
print("conv: ", 3 * 3)               # 9

چرا CNN گربه را هر جای عکس پیدا می‌کند؟ چون همان فیلتر همه‌جا را می‌گردد. مربع را یک خانه بالا و یک خانه راست ببر: نقشه‌ی ویژگی هم همان‌قدر جابه‌جا می‌شود و قوی‌ترین جواب همان 3 است. یک لایه‌ی کامل باید «گربه بالا سمت چپ» و «گربه پایین سمت راست» را جدا جدا یاد بگیرد؛ فیلتر یک بار یاد می‌گیرد و همه‌جا به کار می‌برد.

moved = np.roll(img, (-1, 1), axis=(0, 1))   # shift up 1, right 1
print(np.maximum(0, convolve(moved, V)).astype(int))
# [[0 2 2 0 0]
#  [0 3 3 0 0]
#  [0 2 2 0 0]
#  [0 1 1 0 0]
#  [0 0 0 0 0]]

یک دسته‌بند خیلی کوچک: برای هر عکس، نقشه‌ی ReLU فیلتر عمودی و افقی را جمع بزن. اگر جمع عمودی بیشتر بود «خط عمودی»، اگر افقی بیشتر بود «خط افقی». در CNN واقعی کسی فیلترها را با دست نمی‌نویسد: فیلترها هم وزن‌اند و با همان پس‌انتشار جلسه‌های ۴۲ تا ۴۴ یاد گرفته می‌شوند، و آخر کار یک لایه‌ی softmax تصمیم می‌گیرد. ما امروز فیلترها را دستی نوشتیم تا ببینیم داخل جعبه چه خبر است.

⚠️ همین فیلترها، وقتی میلیون‌ها عکس صورت ببینند، به تشخیص چهره می‌رسند. دو خطر جدی: ۱) حریم خصوصی: عکس هم‌کلاسی‌ها را بدون اجازه برای ساختن یا آزمودن یک تشخیص‌دهنده‌ی چهره استفاده نکن؛ صورت آدم مثل رمز عبوری است که نمی‌شود عوضش کرد. ۲) سوگیری: پژوهش‌های واقعی نشان داده‌اند بعضی سیستم‌های تجاری، صورت زنان با پوست تیره را خیلی بدتر از مردان با پوست روشن تشخیص می‌دادند، چون داده‌ی آموزششان بیشتر از گروه دوم بود. اگر دسته‌بند ما فقط خط‌های وسط تصویر را دیده بود، خط کنار تصویر را هم بد می‌دید؛ همین، در مقیاس بزرگ، برای آدم‌ها اتفاق می‌افتد.

مثال‌های این جلسه

چالش‌ها

  1. Horizontal Edges (آسان)
  2. ReLU the Map (آسان)
  3. Max-Pooling (متوسط)
  4. Count the Weights (متوسط)
  5. A Stack of Maps (سخت)
  6. Vertical or Horizontal? (سخت)

بیشتر بخوان

← جلسه‌ی 53: کانولوشن با دست ۱ جلسه‌ی 55: تعبیه‌ی کلمه ۱ →