مثال تاپل و مجموعه (هوش مصنوعی با پایتون): dz2 = (p - np.eye(3)[y]) / len(X)
مثال 7 از درس جلسهی 44 آموزش هوش مصنوعی برای نوجوانان با پایتون: شبکهی چندلایه با numpy ۲
و حالا قشنگترین بخش: وقتی softmax و cross-entropy با هم باشند، شیب خطا نسبت به امتیازها فقط p - Y است (Y همان one-hot). برای دستهی درست p - 1 منفی است، پس امتیازش بالا میرود؛ برای بقیه p مثبت است، پس امتیازشان پایین میآید. بقیه همان پسانتشار جلسهی ۴۲ است، فقط با شیب ReLU به جای سیگموید: dh = dz2 @ W2.T * (h > 0). تقسیم بر n میانگین میگیرد تا اندازهی قدم به تعداد مثالها بستگی نداشته باشد.
# one training step for a 2-layer ReLU + softmax network
h = np.maximum(0, X @ W1 + b1)
p = softmax(h @ W2 + b2)
dz2 = (p - np.eye(3)[y]) / len(X)
dh = dz2 @ W2.T * (h > 0)
W2 -= lr * h.T @ dz2
b2 -= lr * dz2.sum(axis=0)
W1 -= lr * X.T @ dh
b1 -= lr * dh.sum(axis=0)
این کد را همینجا در ویرایشگر پایتون اجرا کن، عددها و متنهایش را عوض کن و دوباره اجرا کن تا ببینی چه تغییری میکند.
بیشتر بخوان: تاپل و مجموعه (tuple و set) در پایتون: آموزش با مثال
← مثال قبلی · برگشت به درس جلسهی 44: شبکهی چندلایه با numpy ۲ · مثال بعدی → · چالشهای این جلسه