에어비앤비의 Forecasting Data Science 팀이 예측 모델에서 오차가 발생했을 때 어떻게 대응하는지에 대한 깊이 있는 인사이트를 공유합니다. 단순히 모델을 다시 학습시키는 'Retrain'이라는 모호한 표현 대신, 이들은 세 가지 명확한 선택지를 구분하여 사용합니다. 데이터만 업데이트하는 'Refit', 모델의 구조나 특징을 바꾸는 'Respecify', 그리고 아무런 조치도 취하지 않고 유지하는 'Hold'가 그것입니다. 특히 COVID-19와 같은 거대한 충격 이후, 과거의 가정을 버리고 새로운 구조를 도입하는 'Respecify'의 중요성과, 일시적인 노이즈에 반응하지 않는 'Hold'의 결단력이 왜 중요한지 실제 사례를 통해 설명하고 있습니다. 데이터 사이언티스트라면 모델의 성능뿐만 아니라, 언제 변화를 주고 언제 멈춰야 하는지에 대한 '의사결정 프레임워크'가 얼마나 중요한지 배울 수 있는 유익한 글입니다.