وقتی چیزی خراب میشود
هر سیستمی دیر یا زود خراب میشود؛ تیم خوب از قبل برایش برنامه دارد. این کلمهها دربارهی قولها، برنامههای اضطراری و روشهایی است که نمیگذارند یک خرابی کوچک بزرگ شود.
صفتهای -ful: graceful، helpful
پسوند -ful یعنی «پر از»: grace (وقار) و graceful (باوقار، آرام)، help و helpful (مفید)، use و useful. ضدش معمولا با -less ساخته میشود: careless (بیدقت)، useless (بیفایده)، و در postmortem هم blameless یعنی «بیسرزنش». دقت کن: -ful با یک l نوشته میشود، نه full.
هشت کلمهی این درس
SLA (اِساِلاِی): توافق سطح خدمات؛ قولی رسمی دربارهی کیفیت و در دسترس بودن سرویس
SLA قراردادی است بین شرکتی که سرویس میدهد و مشتریاش که میگوید سرویس دقیقا چقدر خوب خواهد بود: مثلا «۹۹٫۹ درصد زمان بالا است» یا «به مشکلهای فوری در یک ساعت جواب میدهیم». اگر شرکت به قولش عمل نکند، معمولا باید جریمه بدهد یا بخشی از پول را برگرداند. ۹۹٫۹ درصد یعنی در یک ماه حداکثر حدود ۴۳ دقیقه قطعی مجاز است.
Our SLA promises 99.9% uptime for paid plans.
توافق سطح خدمات ما برای طرحهای پولی ۹۹٫۹ درصد زمان بالا بودن را قول میدهد.
disaster recovery (دیزَستِر ریکاوِری): بازیابی پس از فاجعه؛ برنامهی برگرداندن سیستم بعد از خرابی بزرگ
disaster یعنی فاجعه و recovery یعنی بهبود یا به حال اول برگشتن. disaster recovery برنامهای است برای روزی که چیزی بزرگ خراب شود: دیتاسنتر بسوزد، همهی دادهها پاک شود یا حملهای همهچیز را از کار بیندازد. این برنامه میگوید backupها کجا هستند، سیستم را در کجای دیگر چطور و در چند ساعت بالا بیاوریم و چه کسی چه کار کند. باید پیش از فاجعه تمرینش کرد، نه وسط آن.
We test our disaster recovery plan twice a year.
برنامهی بازیابی پس از فاجعه را سالی دو بار تمرین میکنیم.
postmortem (پُستمورتِم): گزارش بعد از حادثه؛ بررسی اینکه چه شد و چرا
post-mortem در لاتین یعنی «بعد از مرگ» و در پزشکی همان کالبدشکافی است. در نرمافزار، postmortem گزارشی است که بعد از یک خرابی جدی نوشته میشود: چه اتفاقی افتاد، کی و چطور فهمیدیم، علت اصلی چه بود و چه کار میکنیم که تکرار نشود. postmortem خوب blameless است، یعنی دنبال مقصر نمیگردد؛ دنبال ایراد در روشها و سیستم است.
Ali wrote the postmortem for last night's outage.
علی گزارش بعد از حادثهی قطعی دیشب را نوشت.
maintenance window (مِینتِنِنس ویندو): بازهی زمانی از پیش اعلامشده برای تعمیر و بهروزرسانی
maintenance یعنی نگهداری و تعمیر، و window اینجا یعنی یک بازهی زمانی، نه پنجرهی اتاق. maintenance window زمانی است که تیم از قبل اعلام میکند در آن ممکن است سرویس کند یا قطع شود، چون کار سنگینی مثل ارتقای پایگاه داده یا جابهجایی سرور انجام میدهند. معمولا آن را در خلوتترین ساعتها میگذارند، مثلا ساعت ۳ بامداد جمعه، و قبلش به کاربرها خبر میدهند.
The site may be unavailable during the maintenance window on Friday night.
ممکن است سایت در بازهی تعمیرات جمعه شب در دسترس نباشد.
graceful shutdown (گرِیسفول شاتداون): خاموش شدن آرام؛ تمام کردن کارهای نیمهکاره و بعد بسته شدن
graceful یعنی باوقار و آرام، مثل حرکت یک رقصنده؛ shutdown یعنی خاموش شدن. graceful shutdown یعنی وقتی به برنامه میگویند «خاموش شو»، یکهو قطع نشود: اول درخواست تازه قبول نکند، درخواستهایی را که در دست دارد تمام کند، اتصالها را ببندد و دادهها را ذخیره کند، و بعد بیرون برود. مثل فروشگاهی که موقع بستن در را قفل میکند ولی مشتریهای داخل را تا آخر راه میاندازد.
Handle SIGTERM to support a graceful shutdown in Kubernetes.
سیگنال SIGTERM را مدیریت کن تا در Kubernetes خاموش شدن آرام داشته باشی.
circuit breaker (سِرکیت بریکِر): قطعکننده؛ قطع موقت تماس با سرویسی که مدام خطا میدهد
circuit breaker در اصل همان فیوز خودکار جعبهی برق خانه است: وقتی جریان خطرناک شود، مدار را قطع میکند تا سیمها آتش نگیرند. در نرمافزار، اگر سرویسی که صدایش میزنی پشت سر هم خطا بدهد، circuit breaker مدتی دیگر اصلا صدایش نمیزند و فورا یک جواب جایگزین میدهد. اینطور برنامهی تو منتظر سرویس مرده نمیماند و او هم فرصت پیدا میکند خوب شود. بعد از چند ثانیه دوباره آرام امتحان میکند.
The circuit breaker opened after ten failed calls to the payment API.
بعد از ده تماس ناموفق با API پرداخت، قطعکننده باز شد.
retry policy (ریترای پالِسی): قاعدهی تلاش دوباره؛ چند بار و با چه فاصلهای دوباره امتحان کنیم
retry یعنی دوباره تلاش کردن و policy یعنی سیاست یا قاعدهی ثابت. retry policy مشخص میکند وقتی درخواستی شکست خورد چه کنیم: چند بار دوباره بفرستیم، بین هر بار چقدر صبر کنیم و کی دست برداریم. قاعدهی رایج exponential backoff است: یک ثانیه، بعد دو، بعد چهار ثانیه صبر؛ تا اگر سرور شلوغ است، با هجوم تلاشهای تازه شلوغترش نکنیم.
Our retry policy tries three times and waits longer after each failure.
قاعدهی تلاش دوبارهی ما سه بار امتحان میکند و بعد از هر شکست بیشتر صبر میکند.
throttling (تِراتِلینگ): کند کردن عمدی؛ محدود کردن تعداد درخواستها یا سرعت
throttle در اصل یعنی دریچهی گاز ماشین، چیزی که مقدار سوخت و در نتیجه سرعت را کم و زیاد میکند (معنی قدیمیترش «گلو را فشار دادن» است). در نرمافزار، throttling یعنی عمدا سرعت یا تعداد چیزی را محدود کنی: سرور به هر کاربر فقط ۱۰۰ درخواست در دقیقه بدهد، یا تابعی حداکثر هر ۲۰۰ میلیثانیه یک بار اجرا شود. پردازنده هم وقتی خیلی داغ شود خودش را throttle میکند.
The API started throttling our requests after we sent too many.
API بعد از اینکه درخواست زیادی فرستادیم، شروع به کند کردن درخواستهایمان کرد.
خلاصهی یک postmortem
Summary: On Tuesday the shop was slow for 25 minutes. Our SLA allows 43 minutes per month, so we are still inside it.
What happened: the payment service stopped answering. Our retry policy tried every request five times, which made the traffic even worse. There was no circuit breaker.
Action items:
- Add a circuit breaker for the payment service.
- Retry only twice, with longer waits.
- Use throttling for very busy users.
- Practice disaster recovery before the next maintenance window.
خلاصه: روز سهشنبه فروشگاه ۲۵ دقیقه کند بود. توافق سطح خدمات ما ۴۳ دقیقه در ماه اجازه میدهد، پس هنوز درون آن هستیم.
چه اتفاقی افتاد: سرویس پرداخت دیگر جواب نمیداد. قاعدهی تلاش دوبارهی ما هر درخواست را پنج بار امتحان کرد و ترافیک را بدتر هم کرد. هیچ قطعکنندهای نبود.
کارهای بعدی:
- برای سرویس پرداخت یک قطعکننده اضافه کنیم.
- فقط دو بار و با فاصلهی بیشتر دوباره تلاش کنیم.
- برای کاربرهای خیلی پرکار از کند کردن عمدی استفاده کنیم.
- قبل از بازهی تعمیرات بعدی، بازیابی پس از فاجعه را تمرین کنیم.