タグ
#Attentionの記事一覧
1件の記事があります。
LLM・基盤モデル
Differential Transformerとは？ノイズを打ち消す差分アテンションで長文理解を強くする技術
Differential Transformerは、2つのsoftmax注意マップの差分で不要な文脈ノイズを打ち消す新しいTransformerです。仕組み、通常のattentionとの違い、実験結果、RAGや長文処理への使い道を日本語で整理します。
参照論文：Differential Transformer