タグ
#Transformerの記事一覧
5件の記事があります。
DiTとは？Transformerで画像生成を高品質化する仕組みと計算量の設計
DiT（Diffusion Transformer）は拡散モデルのノイズ除去をTransformerで行う画像生成技術です。潜在パッチ、adaLN-Zero、モデル規模とトークン数の関係、ImageNetの実験結果から、生成AI開発に活かせる考え方を解説します。
参照論文：Scalable Diffusion Models with Transformers
FlashAttention-2とは？GPUの並列化とワーク分割でTransformerのAttentionをさらに高速化する技術
FlashAttention-2は、Attention計算のIO削減に加えて、GPU上の並列化、ワープ間のワーク分割、non-matmul FLOPs削減を見直すことで、長文Transformerの学習・推論を高速化する技術です。仕組み、実験結果、AI開発への応用を解説します。
参照論文：FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
Infini-attentionとは？長文コンテキストを固定メモリで扱う無限長Transformer
Infini-attentionは、局所attentionに圧縮メモリを組み合わせ、長大な入力を固定メモリで処理する長文向けTransformer技術です。仕組み、評価結果、RAGやエージェントへの使い道を日本語で整理します。
参照論文：Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
Conformerとは？音声認識で局所特徴と長距離文脈を両立するモデル
Conformerは、Transformerの大域的な文脈把握とCNNの局所特徴抽出を1つの音声モデルに統合したアーキテクチャです。仕組み、なぜ効くのか、実験結果、音声AI開発への応用ポイントを日本語で整理します。
参照論文：Conformer: Convolution-augmented Transformer for Speech Recognition
Mixture-of-Depthsとは？Transformerの計算量を減らしつつ性能を保つ動的トークンルーティングを解説
Mixture-of-Depthsは、Transformerの各層で重要なトークンだけに重い計算を回し、他のトークンは残差経路でスキップさせる技術です。静的な計算グラフを保ちながら計算配分を動的化する仕組みと、推論高速化やモデル設計への使い道を整理します。
参照論文：Mixture-of-Depths: Dynamically allocating compute in transformer-based language models