Transformer의 핵심인 Self-Attention을 대체할 수 있는 새로운 연구입니다. 'Causal Grassmann'은 명시적인 어텐션 가중치 대신, 토큰 쌍의 부분공간을 기하학적 특징으로 변환하여 정보를 섞는 새로운 방식의 시퀀스 모델입니다. 기존 Self-Attention은 고차원적인 상호작용 때문에 모델의 동작을 설명하기 어렵다는 단점이 있었는데요, 이 연구는 이를 Grassmann 다양체와 Plücker 좌표라는 기하학적 구조로 해결하려고 시도했습니다. 계산 복잡도가 시퀀스 길이에 따라 선형적으로 증가($O(Ld^2)$)하여 효율적이며, 실험 결과 Wikitext-2와 SNLI 데이터셋에서 기존 Transformer 모델과 대등하거나 소폭 높은 성능을 보여주었습니다. 현재는 구현상의 오버헤드로 인해 속도 면에서 개선이 필요하지만, 어텐션 메커니즘의 새로운 대안으로서 큰 가능성을 보여주고 있습니다.