Thinking Machines에서 Mira Murati가 이끄는 새로운 AI 모델 'Inkling'을 공개했습니다! Inkling은 975B라는 거대한 파라미터를 보유하고 있지만, Mixture of Experts (MoE) 방식을 사용하여 실제 연산 시에는 약 41B의 파라미터만 활성화함으로써 효율성을 극대화했습니다. 또한, 100만 토큰의 긴 문맥(context window)을 처리하기 위해 sliding-window attention과 full-attention layer를 혼합하여 사용하며, RoPE 대신 relative position encoding을 채택해 긴 시퀀스에서도 안정적인 성능을 보여줍니다. 특히 'Thinking effort'라는 설정을 통해 모델의 추론 깊이를 조절할 수 있는 독특한 기능을 제공합니다. AI 엔지니어링과 최신 LLM 아키텍처에 관심 있는 분들에게 매우 유익한 정보입니다.