RAG(Retrieval-Augmented Generation) 기반 AI Agent를 구축할 때 가장 큰 고민은 "검색 품질을 어떻게 측정할 것인가"입니다. 단순히 느낌에 의존하는 것이 아니라, NDCG@10이나 Recall@k와 같은 정량적 지표를 통해 객관적으로 평가하는 시스템이 반드시 필요합니다. 이 글에서는 Amazon OpenSearch Service와 Amazon Bedrock을 활용해 검색 품질 측정 시스템을 구축한 실전 경험을 공유합니다. LLM Judge를 사용하여 채점의 신뢰성을 검증하는 방법부터, BM25(키워드), k-NN(시멘틱), 그리고 RRF를 활용한 Hybrid Search의 성능 비교까지 깊이 있게 다룹니다. 특히 데이터 특성에 따라 최적의 검색 방식이 달라질 수 있다는 점과, 한국어 환경에서는 Nori 형태소 분석기 사용이 필수적이라는 중요한 인사이트를 제공합니다. AI Agent의 성능을 수치로 증명하고 싶은 개발자분들에게 큰 도움이 될 것입니다.