아이지에이웍스가 AWS와 협력하여 진행한 AI 에이전트 '클레어(Claire)'의 프로토타입 검증(PoC) 과정을 상세히 다룹니다. 기존의 결정론적 워크플로우 방식은 복합적인 사용자 질문을 처리하는 데 한계가 있었으나, 이를 해결하기 위해 LLM이 자율적으로 도구를 선택하고 조합하는 Agentic 아키텍처를 도입했습니다. Amazon Bedrock AgentCore를 활용하여 질문의 의도에 따라 모델과 경로를 최적화하는 supervisor 그래프를 설계하고, MCP(Model Context Protocol)를 통해 다양한 도구 서버를 표준화하여 연결했습니다. 또한, 에이전트의 응답 품질을 객관적으로 검증하기 위해 LLM-as-a-judge 기반의 '평가 주도 개선 루프'를 구축하여, 데이터에 근거한 지속적인 성능 향상 프로세스를 구현했습니다.