Meta가 광고 추천 시스템의 효율성과 확장성을 높이기 위해 도입한 새로운 시퀀스 모델링 아키텍처에 대한 소식입니다. 기존의 하이브리드 방식이 가진 한계를 극복하기 위해, 무거운 오프라인 사용자 모델링과 가벼운 온라인 랭킹 작업을 분리한 multi-stage sequence model을 도입했습니다. 또한, dense tokenization과 target-aware attention 기술을 통해 데이터로부터 직접 feature interaction을 학습할 수 있게 했습니다. 이러한 혁신은 Instagram에서 6%, Facebook에서 3%의 전환율 상승을 이끌어냈으며, LLM과 유사한 예측 가능한 scaling law를 보여주고 있습니다.