タグ
#Infini-attentionの記事一覧
1件の記事があります。
LLM・基盤モデル
Infini-attentionとは？長文コンテキストを固定メモリで扱う無限長Transformer
Infini-attentionは、局所attentionに圧縮メモリを組み合わせ、長大な入力を固定メモリで処理する長文向けTransformer技術です。仕組み、評価結果、RAGやエージェントへの使い道を日本語で整理します。
参照論文：Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention