タグ
#Attentionの記事一覧
2件の記事があります。
AI開発基盤・MLOps
FlexAttentionとは？Attentionの独自ルールを短いコードで書き、高速なGPU処理へ変換する技術
FlexAttentionは、Attentionのスコア補正や参照範囲をPyTorchの関数で定義し、融合GPUカーネルを生成する技術です。BlockMaskとコンパイルの仕組み、実験条件、可変長データの学習や推論基盤への応用を解説します。
参照論文：Flex Attention: A Programming Model for Generating Optimized Attention Kernels
LLM・基盤モデル
Differential Transformerとは？ノイズを打ち消す差分アテンションで長文理解を強くする技術
Differential Transformerは、2つのsoftmax注意マップの差分で不要な文脈ノイズを打ち消す新しいTransformerです。仕組み、通常のattentionとの違い、実験結果、RAGや長文処理への使い道を日本語で整理します。
参照論文：Differential Transformer