LLM 모델을 교체하고 싶지만, 혹시 유저가 이탈할까 봐 고민 중이신가요? ABTO는 이러한 문제를 해결하기 위해 탄생한 LLM A/B 테스트 도구입니다. 기존의 Langfuse나 Mixpanel 같은 도구들은 유저 지표와 LLM 지표를 통합해서 보기 어려웠지만, ABTO는 실제 서비스 트래픽을 모델별로 나누어 호출 비용과 유저의 행동(결제, 저장, 공유 등)을 한눈에 비교할 수 있게 해줍니다. Go 기반의 Gateway와 SDK를 사용하여 높은 동시성과 안정성을 보장하며, OpenAI SDK 방식과 유사한 방식으로 간편하게 연동할 수 있습니다. 이제 벤치마크 점수에만 의존하지 말고, ABTO를 통해 우리 서비스 유저가 실제로 어떤 모델의 결과를 더 선호하는지 정량적인 지표로 확인해 보세요!