인프랩의 BE 개발자들이 학습 에이전트의 백엔드 시스템을 설계하고 구현하며 겪은 기술적 고민들을 다루고 있습니다. 대량의 채팅 트래픽을 안정적으로 처리하기 위해 Spring MVC와 Virtual Thread를 선택한 배경과, LLM의 답변 품질을 높이기 위한 Context 및 Tool 설계 방식(비디오 프레임 분석, 요약 등)을 설명합니다. 또한 LLM-as-a-Judge를 활용한 품질 개선 워크플로우와 비용 절감을 위한 에이전트 분리 및 Gemini의 명시적 캐싱(Explicit Caching) 활용 전략 등 실무적인 해결책을 상세히 공유하고 있습니다.