장기 실행 에이전트(Long-running agents)를 구축할 때 가장 중요한 것은 context management입니다. 어떤 정보를 context window에 넣을지, 그리고 언제 넣을지를 결정하는 것이 핵심이죠. 기존에는 이러한 작업을 LLM으로 처리해 왔지만, 이는 대규모 에이전트 운영 시 비용과 속도 면에서 한계가 있었습니다. 이를 해결하기 위해 ScaleDown의 Constrained Decoding Models(CDMs)를 활용하는 방법이 제안되었습니다. ScaleDown은 특정 작업에 최적화된 모델을 제공하여, 일반적인 LLM보다 훨씬 빠르고 저렴하게 Summarize, Compress, Extract, Classify 작업을 수행할 수 있습니다. LangChain 및 Deep Agents와 통합하여 사용할 수 있으며, 이를 통해 에이전트의 효율성을 획기적으로 높일 수 있습니다.