토스증권 Data Infra 팀에서 Milvus를 활용해 벡터 검색 성능을 최적화하고, 서비스에 필요한 서버 자원을 어떻게 산정했는지에 대한 기술 사례를 공유합니다. 벡터 검색은 품질(Recall)과 성능(QPS, Latency) 사이의 균형을 맞추는 것이 매우 중요한데요. 토스증권은 인덱스 설정(HNSW, SQ8 등)과 하드웨어 구조(NUMA 배치)를 면밀히 분석하여, 동일한 자원에서도 처리량을 41% 이상 높이는 성과를 거두었습니다. 특히 CPU와 메모리를 같은 NUMA 노드에 배치하는 최적화를 통해 성능을 크게 개선했으며, 이를 바탕으로 벡터 차원과 데이터 규모에 따른 서버 대수를 예측할 수 있는 시뮬레이터까지 구축했다고 합니다. 인프라 엔지니어링과 데이터베이스 최적화에 관심 있는 분들에게 매우 유용한 인사이트를 제공합니다.