A/B 테스트에서 LLM(Large Language Model)이 실제 사용자의 반응을 대신할 수 있을지에 대한 흥미로운 연구 내용을 소개해 드립니다. 연구 결과에 따르면, LLM의 예측값은 단순히 노이즈가 있는 것이 아니라 treatment effect를 0에 가깝게 만드는 체계적인 bias를 가지고 있었습니다. LLM이 유효한 surrogate(대리 지표)가 되기 위해서는 Surrogacy와 Comparability라는 두 가지 핵심 조건이 충족되어야 하며, 이를 위해 단순한 OLS 방식보다는 Machine Learning 모델을 활용한 Calibration이 더 효과적이라는 사실이 밝혀졌습니다. 하지만 가장 중요한 점은, LLM은 과거 데이터와 유사한 실험에서는 도움을 줄 수 있지만, 완전히 새로운 시도를 하는 혁신적인 제품 개발 단계에서는 여전히 실제 사용자 실험이 필수적이라는 것입니다. LLM은 보조적인 수단으로 활용할 때 가장 큰 가치를 발휘합니다.