Тихие алерты лучше громких
Первый мониторинг, который я собрал, орал двадцать раз в сутки. Через неделю я научился его не слышать. Через месяц он орал, а я чинил упавший сервис, о котором он «предупреждал», — постфактум. Классический путь: алерты стали фоном, фон стал неинформативным.
Что я поменял
Порог — от последствий, а не от метрики. Не «диск больше 80%», а «диск закончится раньше, чем я обычно замечаю». У меня это 85% при интенсивной записи и 95% при спокойной. Один и тот же процент на разных машинах — разные события.
Дежурное сообщение раз в сутки. Одна строчка «всё живо, место в порядке, очередь пустая» в одно и то же время. Это не алерт — это доказательство, что канал алертов жив. Дважды я ловил молчащие уведомления именно потому, что «тихих» сообщений не было.
Каждый алерт — с инструкцией. Ожидание: «упал X — смотри лог Y, чинится командой Z». Если для алерта не могу написать инструкцию — значит, это не алерт, а любопытная метрика. Любопытные метрики живут в графике, а не в телеграме.
Итог
За последний квартал мне пришло четыре алерта. Все четыре — по делу, все четыре я закрыл за минуты, а не часы. И один раз дежурное сообщение не пришло вовремя — и это оказалось самым громким событием квартала: упал сам мониторинг.