#Native Sparse Attentionの記事一覧

Native Sparse Attentionとは？長文LLMを高速化しながら精度も落としにくい学習可能スパース注意

Native Sparse Attentionは、圧縮・選択・局所窓の3経路で長文コンテキストを効率よく扱うスパースattentionです。仕組み、従来法との違い、実験結果、RAGや長文エージェントへの使い道を日本語で整理します。

参照論文：Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention