VLM을 이용한 시각적 문서 검색: ColPali와 ColQwen
시장 인사이트 · DEVOCEAN · 2026.08.17
기존의 텍스트 기반 문서 검색은 OCR이나 레이아웃 분석을 거치는 과정에서 정보가 왜곡되거나, 표나 그림 속에 담긴 시각적 맥락을 놓칠 수 있다는 한계가 있습니다. 이를 보완하기 위해 최근에는 VLM(Vision-Language Model)을 활용하여 이미지 자체를 임베딩하는 '시각적 문서 검색(Visual Document Retrieval)' 기술이 주목받고 있습니다. 본 글에서는 ColBERT의 Late Interaction 방식을 적용한 ColPali와 ColQwen 모델을 통해, 이미지 패치 단위의 Multi-Vector 표현이 어떻게 검색 성능을 혁신적으로 높이는지 설명해 드립니다. 또한, 실제 T 월드 이벤트 배너 데이터를 활용하여 긴 이미지를 효율적으로 처리하기 위한 chunking 전략과 Qdrant를 이용한 검색 시스템 Baseline 구축 과정까지 상세히 안내하고 있습니다.