جلسهی 25: رگرسیون با دو ویژگی Regression with Two Features
به جای یک وزن، دو وزن و یک بایاس داریم. با «کمی به سمت درست حرکت کن» (گرادیان کاهشی) وزنها را خودِ کامپیوتر پیدا میکند.
در این جلسه یاد میگیری
- در پایان این جلسه میتوانم پیشبینی خطی با دو ویژگی بنویسم:
w1*x1 + w2*x2 + b. - در پایان این جلسه میتوانم خطای مدل (میانگین مربع خطا) را حساب کنم.
- در پایان این جلسه میتوانم به زبان ساده بگویم گرادیان کاهشی چه میکند.
- در پایان این جلسه میتوانم یک قدم بهروزرسانی وزنها را کدنویسی کنم.
درس
در فاز قبل یک خط ساختی: price = w * size + b. اما قیمت خانه فقط به اندازه بستگی ندارد؛ به تعداد اتاق هم بستگی دارد. پس دو ویژگی داریم و هر کدام یک وزن: price = w1 * size + w2 * rooms + b. وزن یعنی «این ویژگی چقدر مهم است»، و b (بایاس) نقطهی شروع است.
def predict(size, rooms, w1, w2, b):
return w1 * size + w2 * rooms + b
print(predict(100, 3, 2.0, 10.0, 5.0)) # 235.0دادهی ما: اندازه (دهها متر)، اتاق، قیمت (میلیون). با وزنهای حدسی شروع میکنیم، مثلاً همه صفر. پیشبینیها بد است. چقدر بد؟ برای هر خانه اختلاف پیشبینی و قیمت واقعی را به توان دو میرسانیم (تا منفیها مثبت شوند و خطاهای بزرگ بیشتر دیده شوند) و میانگین میگیریم: میانگین مربع خطا (MSE).
X = [[5, 1], [8, 2], [10, 3], [12, 3]]
y = [60, 95, 125, 140]
def mse(X, y, w1, w2, b):
total = 0
for i in range(len(X)):
guess = w1 * X[i][0] + w2 * X[i][1] + b
total = total + (guess - y[i]) ** 2
return total / len(X)
print(mse(X, y, 0, 0, 0)) # 11962.5 (terrible)حالا ایدهی اصلی یادگیری: گرادیان کاهشی. تصور کن با چشم بسته روی یک تپه ایستادهای و میخواهی به پایینترین نقطه برسی. با پا زمین را حس میکنی: کدام طرف سرازیری است؟ یک قدم کوچک آن طرف برمیداری. دوباره. و دوباره. ارتفاع تپه همان خطاست و جای تو همان وزنها.
«کدام طرف سرازیری است» را چطور حساب کنیم؟ برای هر خانه، error = guess - real. اگر خطا مثبت است (زیاد حدس زدی) باید وزنها کم شوند، و هر وزن به اندازهی ویژگی خودش: ویژگی بزرگتر اثر بیشتری داشته، پس بیشتر تصحیح میشود. این همان «گرادیان» است: error * x1 برای w1، error * x2 برای w2، و فقط error برای b.
def gradients(X, y, w1, w2, b):
g1 = g2 = gb = 0
for i in range(len(X)):
error = (w1 * X[i][0] + w2 * X[i][1] + b) - y[i]
g1 = g1 + error * X[i][0]
g2 = g2 + error * X[i][1]
gb = gb + error
n = len(X)
return g1 / n, g2 / n, gb / nیک قدم یادگیری: گرادیان را حساب کن و هر وزن را کمی در جهت مخالفش حرکت بده. «کمی» یعنی ضرب در یک عدد کوچک به اسم نرخ یادگیری (lr)، مثلاً ۰.۰۰۱. قدم را صد بار تکرار کن و ببین خطا هر بار کمتر میشود. جلسهی بعد دقیقتر دربارهی این عدد کوچک حرف میزنیم.
w1 = w2 = b = 0.0
lr = 0.001
for step in range(100):
g1, g2, gb = gradients(X, y, w1, w2, b)
w1 = w1 - lr * g1
w2 = w2 - lr * g2
b = b - lr * gb
if step % 25 == 0:
print(step, round(mse(X, y, w1, w2, b), 1))
print(round(w1, 2), round(w2, 2), round(b, 2))همین است! هر شبکهی عصبی بزرگ هم دقیقاً همین کار را میکند، فقط به جای ۳ وزن میلیاردها وزن دارد و به جای ۴ خانه میلیونها مثال. ایدهی «خطا را حساب کن، کمی به سمت درست حرکت کن، تکرار کن» قلب یادگیری عمیق است.
اشتباه رایج: علامت را اشتباه گرفتن و وزن را به سمت گرادیان بردن (w1 + lr * g1)؛ آنوقت خطا به جای کم شدن منفجر میشود. همیشه منها. اشتباه دوم: فراموش کردن تقسیم بر n که گرادیان را به تعداد مثالها وابسته میکند.
مثالهای این جلسه
- مثال تابع (هوش مصنوعی با پایتون): def predict(size, rooms, w1, w2, b):
- مثال تابع (هوش مصنوعی با پایتون): def mse(X, y, w1, w2, b):
- مثال تابع (هوش مصنوعی با پایتون): def gradients(X, y, w1, w2, b):
- مثال حلقه for (هوش مصنوعی با پایتون): for step in range(100):
چالشها
- Two Weights (آسان)
- Mean Squared Error (آسان)
- The Gradients (متوسط)
- One Step Downhill (متوسط)
- Train for 200 Steps (سخت)
- Any Number of Weights (سخت)