LLM(Large Language Model)을 활용한 애플리케이션은 기존의 전통적인 소프트웨어와는 다른 특성을 가지고 있습니다. LLM의 출력은 확률적이기 때문에, API 호출이 성공하더라도 결과값이 잘못된 'Semantic Failure'가 발생할 수 있기 때문입니다. 따라서 LLM 기반 앱을 구축할 때는 기술적 오류뿐만 아니라 이러한 의미론적 오류까지 관리할 수 있는 Resiliency(회복 탄력성) 전략이 필수적입니다. 이 글에서는 Retry, Fallback, Circuit Breaker, Rate Limiting 등 안정적인 LLM 애플리케이션을 만들기 위한 핵심 기술들을 자세히 다루고 있습니다.