جلسهی 54: کانولوشن با دست ۲ Convolution by Hand 2
از یک فیلتر به یک شبکهی کانولوشنی کوچک: فیلتر افقی و عمودی، ReLU روی نقشهی ویژگی، max-pooling، چند فیلتر با هم و اینکه چرا CNN با وزنهای خیلی کم، گربه را هر جای عکس پیدا میکند.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم با فیلتر افقی و عمودی لبههای مختلف یک تصویر را پیدا کنم.
- در پایان این جلسه میتوانم روی نقشهی ویژگی ReLU بزنم و با max-pooling ۲×۲ آن را کوچک کنم.
- در پایان این جلسه میتوانم بشمارم یک فیلتر چند وزن دارد و یک لایهی کامل چند وزن، و بگویم «اشتراک وزن» یعنی چه.
- در پایان این جلسه میتوانم با مقایسهی دو نقشهی ویژگی، خط عمودی را از خط افقی تشخیص دهم.
درس
فیلتر جلسهی قبل میپرسید «راستم روشنتر از چپم است؟». اگر فیلتر را ترانهاده کنیم (kernel.T، یعنی سطرها ستون شوند)، سؤال عوض میشود: «پایینم روشنتر از بالایم است؟». این فیلتر لبههای افقی را پیدا میکند: روی همان مربع، بالای مربع مثبت و پایینش منفی میشود.
V = np.array([[-1, 0, 1],
[-1, 0, 1],
[-1, 0, 1]])
H = V.T
print(H) # [[-1 -1 -1] [0 0 0] [1 1 1]]
print(convolve(img, H).astype(int))
# [[ 1 2 3 2 1]
# [ 1 2 3 2 1]
# [ 0 0 0 0 0]
# [-1 -2 -3 -2 -1]
# [-1 -2 -3 -2 -1]]در جلسهی ۴۳ ReLU را در لایهی پنهان دیدی: منفیها صفر میشوند. روی نقشهی ویژگی هم همین کار را میکنیم: فقط جوابهای «بله» میمانند (اینجا از تاریک به روشن هست) و بقیه صفر. با numpy یک خط است: np.maximum(0, fmap)؛ هر خانه با ۰ مقایسه میشود و بزرگتره میماند.
fmap = convolve(img, V)
relu = np.maximum(0, fmap)
print(relu.astype(int))
# [[1 1 0 0 0]
# [2 2 0 0 0]
# [3 3 0 0 0]
# [2 2 0 0 0]
# [1 1 0 0 0]]Max-pooling نقشه را کوچک میکند: نقشه را به خانههای ۲×۲ تقسیم کن و از هر خانه فقط بزرگترین عدد را نگه دار. مثل نمایندهی کلاس که از هر میز چهارنفره فقط بلندترین صدا را به مدیر گزارش میدهد. نقشه نصف میشود (۴×۴ میشود ۲×۲)، محاسبهی بعدی سریعتر میشود و اگر لبه یک پیکسل جابهجا شود، جواب تقریباً همان میماند.
def max_pool(fmap):
m = fmap.shape[0] // 2
out = np.zeros((m, m))
for r in range(m):
for c in range(m):
block = fmap[2 * r:2 * r + 2, 2 * c:2 * c + 2]
out[r, c] = block.max()
return out
fm = np.array([[1, 0, 2, 4],
[3, 1, 0, 1],
[0, 0, 0, 2],
[5, 0, 1, 0]])
print(max_pool(fm).astype(int)) # [[3 4] [5 2]]یک فیلتر = یک سؤال = یک نقشه. چند فیلتر = چند نقشهی ویژگی که روی هم چیده میشوند. لایهی اول یک CNN واقعی ۳۲ یا ۶۴ فیلتر دارد (لبهی عمودی، افقی، مورب، لکه، رنگ...). لایهی دوم فیلترهایش را روی نقشههای لایهی اول میلغزاند و چیزهای بزرگتر میسازد: لبهها گوشه میشوند، گوشهها چشم، چشمها صورت.
maps = np.array([np.maximum(0, convolve(img, k)) for k in (V, H)])
print(maps.shape) # (2, 5, 5): 2 maps, each 5x5اشتراک وزن (weight sharing): همان ۹ وزن فیلتر در همهی جاهای تصویر استفاده میشود. حالا بشمار: یک لایهی کامل (dense) که هر ۳۶ پیکسل یک عکس ۶×۶ را به ۳۶ خروجی وصل کند، ۳۶ × ۳۶ = ۱۲۹۶ وزن دارد. فیلتر ۳×۳ فقط ۹ وزن! برای عکس ۱۰۰×۱۰۰ لایهی کامل صد میلیون وزن میخواهد و فیلتر هنوز ۹ تا. وزن کمتر یعنی آموزش سریعتر و دادهی کمتر و حفظ کردن (overfitting جلسهی ۴۸) کمتر.
n = 6
print("dense:", (n * n) * (n * n)) # 1296
print("conv: ", 3 * 3) # 9چرا CNN گربه را هر جای عکس پیدا میکند؟ چون همان فیلتر همهجا را میگردد. مربع را یک خانه بالا و یک خانه راست ببر: نقشهی ویژگی هم همانقدر جابهجا میشود و قویترین جواب همان 3 است. یک لایهی کامل باید «گربه بالا سمت چپ» و «گربه پایین سمت راست» را جدا جدا یاد بگیرد؛ فیلتر یک بار یاد میگیرد و همهجا به کار میبرد.
moved = np.roll(img, (-1, 1), axis=(0, 1)) # shift up 1, right 1
print(np.maximum(0, convolve(moved, V)).astype(int))
# [[0 2 2 0 0]
# [0 3 3 0 0]
# [0 2 2 0 0]
# [0 1 1 0 0]
# [0 0 0 0 0]]یک دستهبند خیلی کوچک: برای هر عکس، نقشهی ReLU فیلتر عمودی و افقی را جمع بزن. اگر جمع عمودی بیشتر بود «خط عمودی»، اگر افقی بیشتر بود «خط افقی». در CNN واقعی کسی فیلترها را با دست نمینویسد: فیلترها هم وزناند و با همان پسانتشار جلسههای ۴۲ تا ۴۴ یاد گرفته میشوند، و آخر کار یک لایهی softmax تصمیم میگیرد. ما امروز فیلترها را دستی نوشتیم تا ببینیم داخل جعبه چه خبر است.
⚠️ همین فیلترها، وقتی میلیونها عکس صورت ببینند، به تشخیص چهره میرسند. دو خطر جدی: ۱) حریم خصوصی: عکس همکلاسیها را بدون اجازه برای ساختن یا آزمودن یک تشخیصدهندهی چهره استفاده نکن؛ صورت آدم مثل رمز عبوری است که نمیشود عوضش کرد. ۲) سوگیری: پژوهشهای واقعی نشان دادهاند بعضی سیستمهای تجاری، صورت زنان با پوست تیره را خیلی بدتر از مردان با پوست روشن تشخیص میدادند، چون دادهی آموزششان بیشتر از گروه دوم بود. اگر دستهبند ما فقط خطهای وسط تصویر را دیده بود، خط کنار تصویر را هم بد میدید؛ همین، در مقیاس بزرگ، برای آدمها اتفاق میافتد.
مثالهای این جلسه
- مثال متغیر (هوش مصنوعی با پایتون): V = np.array([[-1, 0, 1],
- مثال متغیر (هوش مصنوعی با پایتون): fmap = convolve(img, V)
- مثال تابع (هوش مصنوعی با پایتون): def max_pool(fmap):
- مثال list comprehension (هوش مصنوعی با پایتون): maps = np.array([np.maximum(0, convolve(img…
- مثال متغیر (هوش مصنوعی با پایتون): n = 6
- مثال تاپل و مجموعه (هوش مصنوعی با پایتون): moved = np.roll(img, (-1, 1), axis=(0, 1)) …
چالشها
- Horizontal Edges (آسان)
- ReLU the Map (آسان)
- Max-Pooling (متوسط)
- Count the Weights (متوسط)
- A Stack of Maps (سخت)
- Vertical or Horizontal? (سخت)