토스증권 Data Infra팀에서 Spark Connect를 Kubernetes 환경에서 안정적으로 운영하기 위해 겪은 기술적 도전과 해결 과정을 공유하는 글입니다. Spark Connect는 Driver를 서버 형태로 미리 띄워두어 가벼운 클라이언트와 빠른 세션 생성을 가능하게 하지만, 여러 사용자가 공유할 때 발생하는 단일 장애점(SPOF)과 리소스 경합 문제를 야기합니다. 이를 해결하기 위해 토스증권은 Spark 설정을 최적화하여 장애 전파를 막고, 여러 Replica로 다중화하며, 사용자별 세션 유지와 부하 기반 라우팅을 지원하는 커스텀 Gateway를 개발하여 안정성을 확보했습니다.