이번 글에서는 Amazon OpenSearch Service와 Amazon Bedrock을 활용하여 검색 품질을 실제로 개선하는 구체적인 방법들을 다루고 있어요. 주요 기법으로는 Rerank 적용, 하이브리드 검색의 Weight 튜닝, 그리고 임베딩 모델 교체가 있는데요. 테스트 결과, Rerank는 기존 검색 품질이 낮을 때는 큰 도움이 되지만, 이미 최적화된 경우에는 오히려 성능을 떨어뜨릴 수 있다는 흥미로운 사실이 밝혀졌습니다. 따라서 무작정 기법을 적용하기보다는, 1부에서 다룬 것처럼 정확한 평가 시스템을 통해 성능 변화를 먼저 측정하는 것이 무엇보다 중요해요. 또한, AI 코딩 어시스턴트를 활용해 최적의 가중치를 찾는 과정을 자동화하거나, Self-RAG 개념을 도입하여 Agent가 스스로 검색 결과의 관련성과 충분성을 판단하게 만드는 고도화된 방법도 소개하고 있습니다. 마지막으로 운영 환경에서 검색 품질이 저하되지 않도록 AWS Lambda와 CloudWatch를 이용해 지속적으로 모니터링하고 알림을 받는 자동화된 평가 루프 구축 방법까지 상세히 안내해 드립니다.