실시간 AI 에이전트를 구축하는 것은 일반적인 웹 API를 다루는 것과는 조금 다릅니다. 기존의 방식은 요청과 응답이 명확하게 구분되지만, 실시간 AI 시스템은 오디오 데이터나 텍스트가 끊임없이 오가는 양방향 스트리밍 방식을 사용하기 때문이죠. 이 때문에 단순히 QPS(초당 요청 수)나 CPU 사용량만으로는 서버의 실제 부하를 정확히 측정하기 어렵습니다. 이 글에서는 애플리케이션 레벨에서 'active sessions'를 추적하고, 이를 CPU/Memory 사용량과 결합하여 'Effective Capacity'를 계산하는 하이브리드 모델을 통해 실시간 AI 워크로드를 효율적으로 확장하는 방법을 설명하고 있습니다.