대형언어모델(LLM)이 새로운 정보를 처리할 때 내부 기억을 효율적으로 갱신하도록 만드는 'continual learning' 연구가 활발히 진행 중입니다. 최근 ByteDance, Princeton University 등 공동 연구진은 순환형 AI 모델의 'Temporal Alignment' 문제를 해결한 새로운 프레임워크인 'Falcon'을 공개했습니다. Falcon은 정보를 먼저 읽고 나서 쓰는 'Read-after-write' 방식을 도입하여, AI가 새로운 입력을 처리할 때 실시간으로 학습하는 'fast weight'처럼 작동하도록 설계되었습니다. 실험 결과, Falcon은 Transformer나 Gated DeltaNet보다 뛰어난 언어 예측 능력(perplexity)과 긴 문맥 유지력을 입증하며 기술적 진보를 보여주었습니다.