Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
On-call ve Runbook: Nöbet Düzeni, Escalation ve Uygulanabilir Runbook Yazmak
Sürdürülebilir on-call primary ve secondary nöbetçiyle, page bütçesiyle ve her alert için kopyalanabilir komutlardan oluşan bir runbook'la kurulur. Üç kişilik Bookstore ekibine uyarlanmış bir rotation, amtool ile doğrulanan Alertmanager routing'i, repoda tutulan bir runbook ve bu runbook'un gerçek bir arızada denenmesiyle bulduğumuz hataları; ilk iki adımı alert metnine taşıyan otomasyonu anlatıyoruz.
Alerting: Semptom Tabanlı Alarm, Alertmanager, Grafana Alerting, Runbook ve Alarm Yorgunluğu
Alarm, kullanıcının hissettiği semptoma kurulur ve her birinin bir runbook'u olur; sebepler page değil ticket'tır. Bookstore için burn-rate, süre, retry, telemetry yokluğu ve Watchdog alarmlarını Prometheus'ta yazıp Alertmanager ile yönlendiriyor, gruplama, silence ve inhibition'ı gerçek bir arıza üzerinde görüyor, API düştüğünde hata oranı alarmının neden sustuğunu ölçüyoruz.