토스 Commerce Personalization Team에서 진행한 추천 시스템의 TopK 최적화 사례를 소개합니다. 기존에는 각 Retrieval 모델의 후보 수인 TopK를 경험에 의존해 결정했으나, 이는 전체 후보 수를 불필요하게 늘려 시스템 부하를 초래했습니다. 이를 해결하기 위해 문제를 Knapsack Problem으로 정의하고, Integer Programming을 사용하여 전체 후보 수라는 예산 내에서 각 모델의 기대 가치인 pICVR이 높은 곳에 더 많은 후보를 배정하도록 최적화했습니다. 그 결과, 전체 후보 수는 약 절반으로 줄이면서도 User CVR은 7.55%, 사용자당 주문 수는 10.13% 향상시키는 성과를 거두었습니다. 단순히 모델의 정확도를 높이는 것을 넘어, 운영 파라미터를 최적화함으로써 비즈니스 가치를 극대화할 수 있음을 보여주는 사례입니다.