정상이라는 보고를 매번 읽고 있었다
Hermes에게 서비스 상태를 주기적으로 확인시켰더니, 멀쩡할 때도 결과가 보고로 올라왔다. 확인은 자동인데 "문제없음"을 읽는 건 여전히 내 몫이었다. 보고가 쌓이자 정말 봐야 할 내용이 그 사이에 묻혔다.
확인은 자주, 알림은 바뀔 때만
확인은 계속 자주 돌리고, 알림은 상태가 바뀔 때만 보내게 했다. 같은 주소에 요청해 응답만 비교하면 되는 일이라, 매번 AI가 판단하지 않아도 되도록 스크립트로 옮겼다.
- 계속 정상이면 보내지 않는다.
- 처음 실패하면 장애 알림을 보낸다.
- 다시 정상이 되면 복구 알림을 보낸다.
8월 말에 정상 점검 부분을, 9월 초에 장애·복구 알림을 만들었다.
조용하다고 멈춘 건 아니게
알림이 없으면 모니터가 죽은 건지 정상인지 알 수가 없다. 그래서 알림과 상관없이 실행할 때마다 기록은 남겼다. 24시간 동안 30분마다 48번 확인했고, 전부 정상이라 알림은 한 번도 안 갔다. 당시 기록에는 48번이 다 남아 있었다. 점검 시각과 대상 응답을 보면 ‘알림이 없어서 정상’인지 ‘실행 기록부터 없는지’를 나눠 볼 수 있다. 이 48회는 그때의 24시간 확인이며 한 달의 안정성 수치는 아니다.
다음 단계
당시에는 한 달간 알림 수와 실제 조치한 수를 비교해 보자는 생각을 남겼다. 이 글에는 그 후속 측정 결과가 없다. 조용한 알림과 점검 자체가 살아 있는지는 앞으로도 따로 확인할 항목이다.