SmithDB가 Object Storage에 저장된 대규모 Agent Trace 데이터를 효율적으로 검색하기 위해 어떻게 Inverted Index를 설계했는지에 대한 기술 블로그입니다. Agent Trace는 일반적인 로그와 달리 JSON 페이로드가 매우 크고 복잡하다는 특징이 있습니다. SmithDB 팀은 이러한 문제를 해결하기 위해 기존의 Tantivy 방식 대신, Object Storage의 지연 시간과 비용을 고려하여 Vortex 파일 포맷에 최적화된 새로운 저장 레이아웃을 개발했습니다. 특히 Byte-budgeted row group 방식과 FST(Finite State Transducer)를 활용하여 검색 성능을 극대화하고 데이터 크기를 획기적으로 줄인 점이 핵심입니다.