タグ
#FlexAttentionの記事一覧
1件の記事があります。
AI開発基盤・MLOps
FlexAttentionとは？Attentionの独自ルールを短いコードで書き、高速なGPU処理へ変換する技術
FlexAttentionは、Attentionのスコア補正や参照範囲をPyTorchの関数で定義し、融合GPUカーネルを生成する技術です。BlockMaskとコンパイルの仕組み、実験条件、可変長データの学習や推論基盤への応用を解説します。
参照論文：Flex Attention: A Programming Model for Generating Optimized Attention Kernels