대규모 시스템에서 장애가 발생했을 때, 모니터링 도구마저 작동하지 않는 상황을 겪어보신 적 있나요? Airbnb는 이러한 circular dependency 문제를 해결하기 위해 observability stack을 설계하는 방법을 공유하고 있습니다. 핵심은 모니터링 시스템이 관찰 대상보다 더 높은 신뢰성을 갖도록 만드는 것입니다. 이를 위해 Airbnb는 전용 Kubernetes cluster를 사용하여 compute를 격리하고, Istio와 같은 service mesh에 의존하지 않도록 Envoy 기반의 custom Layer 7 network ingress를 구축했습니다. 또한, 모니터링 시스템 자체의 장애를 감지하기 위해 meta-monitoring과 Dead Man’s Switch 기법을 도입했습니다. 인프라 장애 시에도 가시성을 확보하고 빠른 복구를 돕는 실질적인 설계 패턴을 확인해 보세요.