OpenAI 엔지니어들이 전하는 Agentic AI Application의 효율성 최적화 전략에 관한 글입니다. 에이전트 시스템은 Harness, API, Inference라는 세 가지 주요 레이어로 구성되며, 각 단계에서 중복 작업을 제거하여 비용을 낮추는 것이 핵심입니다. Harness에서는 WebSocket과 prompt caching을 통해 네트워크 및 페이로드 비용을 줄이고, API 레이어에서는 delta tokenization과 병렬 safety checks를 통해 지연 시간을 최소화합니다. Inference 레이어에서는 KV cache 관리, Speculative decoding, 그리고 prefill과 decode를 분리하는 기술을 통해 GPU 효율성을 극대화합니다. 결국 시스템 전체를 end-to-end로 최적화하는 것이 가장 중요하다는 교훈을 전달합니다.