Blog
Mert Özen'in yazılım geliştirme, backend, frontend ve DevOps üzerine blog yazıları.
SLO Tabanlı Alerting: Burn Rate, Multiwindow Alert'ler ve Alert Yorgunluğunu Bitirmek
SLO tabanlı alert, error budget'ın harcanma hızını (burn rate) bir uzun ve bir kısa pencerede birlikte ölçer: uzun pencere kısa sıçramalarda susar, kısa pencere arıza bitince alert'i hızla kapatır. Bookstore checkout'u için Workbook'un 14,4/6/1 eşiklerini Prometheus rule'larına çeviriyor, promtool ile test ediyor, canlı bir arızada ne zaman çalıp sustuklarını ölçüyor ve Sloth'un ürettikleriyle karşılaştırıyoruz.
Alerting: Semptom Tabanlı Alarm, Alertmanager, Grafana Alerting, Runbook ve Alarm Yorgunluğu
Alarm, kullanıcının hissettiği semptoma kurulur ve her birinin bir runbook'u olur; sebepler page değil ticket'tır. Bookstore için burn-rate, süre, retry, telemetry yokluğu ve Watchdog alarmlarını Prometheus'ta yazıp Alertmanager ile yönlendiriyor, gruplama, silence ve inhibition'ı gerçek bir arıza üzerinde görüyor, API düştüğünde hata oranı alarmının neden sustuğunu ölçüyoruz.