پایش
برنامهای که روی سرور است را نمیبینی، پس باید خودش از حالش خبر بدهد. این درس کلمههای پایش است: عددها، نمودارها، هشدارها و آدمی که نصف شب تلفنش زنگ میزند.
فعلهای هشدار: fire، go up، go down
در پایش برای حرکت عددها فعلهای سادهای به کار میرود: «The error rate went up» (بالا رفت)، «Memory usage went down» (پایین آمد)، «CPU jumped to 95%» (یکهو پرید). برای هشدار فعل fire یا trigger میآید: «The alert fired at 3 a.m.». go بیقاعده است و گذشتهاش went است.
هشت کلمهی این درس
observability (اَبزِروِبیلیتی): مشاهدهپذیری؛ اینکه از بیرون بفهمی درون سیستم چه خبر است
observe یعنی با دقت نگاه کردن و -ability یعنی «توانایی»؛ observability یعنی چقدر میشود از بیرون فهمید درون سیستم چه میگذرد. سیستمی که observable است سه چیز خوب از خودش بیرون میدهد: log (چه اتفاقی افتاد)، metric (عددها مثل تعداد درخواست) و trace (یک درخواست از کدام بخشها گذشت). مثل ماشینی که پر از نشانگر و چراغ هشدار است؛ وقتی خراب شود، زود میفهمی کجایش.
Good observability helped us find the slow query in five minutes.
مشاهدهپذیری خوب کمک کرد کوئری کند را در پنج دقیقه پیدا کنیم.
metric (مِتریک): سنجه؛ عددی که چیزی را در طول زمان اندازه میگیرد
metric از ریشهی meter یعنی اندازهگیری میآید؛ متر و دماسنج (thermometer) همخانوادهاش هستند. در سرورها metric عددی است که مدام اندازه گرفته و ذخیره میشود: درصد مصرف CPU، تعداد درخواست در ثانیه، زمان جواب، تعداد کاربرهای آنلاین. با کنار هم گذاشتن این عددها در یک نمودار میبینی سیستم چه حالی دارد و کی چیزی عجیب شده است.
Add a metric for the number of failed logins per minute.
یک سنجه برای تعداد ورودهای ناموفق در هر دقیقه اضافه کن.
alert (اَلِرت): هشدار خودکار وقتی چیزی از حد معمول بیرون میزند
alert در انگلیسی یعنی هشدار، و به شکل صفت یعنی هوشیار و گوشبهزنگ. در پایش سرورها، alert پیامی خودکار است که وقتی یک metric از حدی رد شود فرستاده میشود: «خطاها بیش از ۵ درصد شد» یا «دیسک ۹۰ درصد پر است». این پیام به تلفن یا پیامرسان کسی که مسئول است میرسد. مثل دزدگیر یا زنگ آتشنشانی برای سرور.
The alert fired at 3 a.m. because the disk was almost full.
هشدار ساعت ۳ صبح فعال شد چون دیسک تقریبا پر بود.
dashboard (دَشبورد): داشبورد؛ صفحهای که مهمترین عددها و نمودارها را یکجا نشان میدهد
dashboard در اصل تختهای جلوی کالسکه بود که گل و لای پاشیده (dash) از سم اسبها را میگرفت؛ بعد اسم صفحهی جلوی رانندهی ماشین شد که سرعت، بنزین و چراغهای هشدار را نشان میدهد. در نرمافزار، dashboard صفحهای است که مهمترین metricها را با نمودار و عدد یکجا نشان میدهد تا با یک نگاه بفهمی وضع چطور است. پنل مدیریت سایتها را هم dashboard میگویند.
Check the dashboard to see if the error rate went down after the fix.
داشبورد را نگاه کن ببین بعد از اصلاح، نرخ خطا پایین آمد یا نه.
log level (لاگ لِوِل): سطح اهمیت یک پیام log، از DEBUG تا ERROR
level یعنی سطح یا درجه. هر پیامی که برنامه در log مینویسد یک log level دارد که میگوید چقدر مهم است: DEBUG برای جزئیات ریز برنامهنویس، INFO برای اتفاقهای معمولی، WARNING برای چیزهای مشکوک، ERROR برای خطا و CRITICAL برای فاجعه. روی سرور واقعی معمولا فقط از INFO به بالا ذخیره میشود تا logها شلوغ نشوند؛ موقع پیدا کردن باگ سطح را DEBUG میکنی.
Set the log level to DEBUG to see every SQL query.
سطح log را روی DEBUG بگذار تا همهی کوئریهای SQL را ببینی.
health check (هِلث چِک): بررسی سلامت؛ پرسیدن مداوم «زندهای؟» از یک سرویس
health یعنی سلامتی و check یعنی بررسی، مثل چکاپ دکتر. health check یک نشانی کوچک در برنامه (معمولا /health) است که اگر همهچیز خوب باشد جواب «OK» میدهد. load balancer، Kubernetes یا ابزار پایش هر چند ثانیه آن را صدا میزنند؛ اگر جواب ندهد، دیگر کاربری به آن فرستاده نمیشود یا از نو روشنش میکنند. یک health check خوب پایگاه داده و چیزهای حیاتی دیگر را هم بررسی میکند.
The load balancer removed the server after three failed health checks.
load balancer بعد از سه بررسی سلامت ناموفق، آن سرور را کنار گذاشت.
error rate (اِرِر رِیت): نرخ خطا؛ چند درصد درخواستها با خطا تمام میشوند
rate یعنی نرخ، یعنی چیزی در برابر چیز دیگر (مثل سرعت که مسافت در برابر زمان است). error rate یعنی از هر صد درخواست، چندتا با خطا تمام شدهاند؛ مثلا اگر از ۱۰۰۰ درخواست ۲۰ تا خطای ۵۰۰ بدهند، نرخ خطا ۲ درصد است. این یکی از مهمترین metricهای هر سرویس است: وقتی ناگهان بالا برود، یعنی چیزی تازه خراب شده، معمولا همان آخرین deploy.
The error rate jumped to 8% right after the deploy, so we rolled back.
نرخ خطا درست بعد از deploy به ۸ درصد پرید، پس به نسخهی قبل برگشتیم.
on-call (آنکال): کشیک؛ آمادهی جواب دادن به خرابیها در هر ساعت
on call در انگلیسی برای پزشکها به کار میرود: پزشک کشیک باید تلفنش روشن باشد و اگر صدایش زدند فورا بیاید. در تیمهای نرمافزاری هم هر هفته یک نفر on-call است: اگر نصف شب سایت از کار افتاد یا alert آمد، تلفن او زنگ میزند و او باید بررسی کند. معمولا نوبتی است تا همه بهاندازه خسته شوند، نه یک نفر.
Ali is on-call this week, so page him if the site goes down.
علی این هفته کشیک است، پس اگر سایت از کار افتاد خبرش کن.
پیام کشیک در کانال تیم
Ali (on-call): An alert fired at 02:10. The error rate on the API went up to 6%.
Ali: The dashboard shows the problem started right after the 02:00 deploy. The health check was still green, because it only tests the database.
Ali: I set the log level to DEBUG and found it: a missing config value. I rolled back, and every metric is normal again.
Sara: Thanks! Our observability is better than last year, but let us make the health check smarter.
علی (کشیک): ساعت ۰۲:۱۰ یک هشدار فعال شد. نرخ خطای API تا ۶ درصد بالا رفت.
علی: داشبورد نشان میدهد مشکل درست بعد از deploy ساعت ۰۲:۰۰ شروع شد. بررسی سلامت هنوز سبز بود، چون فقط پایگاه داده را تست میکند.
علی: سطح log را روی DEBUG گذاشتم و پیدایش کردم: یک مقدار تنظیمات جا افتاده بود. به نسخهی قبل برگشتم و همهی سنجهها دوباره عادیاند.
سارا: ممنون! مشاهدهپذیری ما از پارسال بهتر است، ولی بیا بررسی سلامت را باهوشتر کنیم.