콘텐츠

LLM 기반 QA 시스템을 위한 새로운 Document Summary Index 소개

시장 인사이트 · 라마인덱스 테크 · 2023.05.08

LlamaIndex에서 새롭게 선보이는 Document Summary Index에 대해 소개해 드릴게요! 기존의 RAG(Retrieval-Augmented Generation) 방식은 텍스트를 작은 조각(chunk)으로 나누어 검색하기 때문에 전체적인 문맥을 놓치거나, 적절한 검색 범위를 설정하는 데 어려움이 있다는 한계가 있었어요. 이를 해결하기 위해 LlamaIndex는 각 문서의 요약본을 추출하여 인덱싱하는 Document Summary Index를 제안합니다. 이 방식은 LLM이 문서의 요약본을 먼저 검토하게 함으로써, 검색 성능을 높이고 더 풍부한 문맥 정보를 제공할 수 있게 해줍니다. LLM 기반 검색과 embedding-based retrieval을 모두 지원하여 더욱 유연한 활용이 가능하답니다.