タグ
#Transformerの記事一覧
3件の記事があります。
LLM・基盤モデル
Infini-attentionとは？長文コンテキストを固定メモリで扱う無限長Transformer
Infini-attentionは、局所attentionに圧縮メモリを組み合わせ、長大な入力を固定メモリで処理する長文向けTransformer技術です。仕組み、評価結果、RAGやエージェントへの使い道を日本語で整理します。
参照論文：Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
音声AI
Conformerとは？音声認識で局所特徴と長距離文脈を両立するモデル
Conformerは、Transformerの大域的な文脈把握とCNNの局所特徴抽出を1つの音声モデルに統合したアーキテクチャです。仕組み、なぜ効くのか、実験結果、音声AI開発への応用ポイントを日本語で整理します。
参照論文：Conformer: Convolution-augmented Transformer for Speech Recognition
推論最適化
Mixture-of-Depthsとは？Transformerの計算量を減らしつつ性能を保つ動的トークンルーティングを解説
Mixture-of-Depthsは、Transformerの各層で重要なトークンだけに重い計算を回し、他のトークンは残差経路でスキップさせる技術です。静的な計算グラフを保ちながら計算配分を動的化する仕組みと、推論高速化やモデル設計への使い道を整理します。
参照論文：Mixture-of-Depths: Dynamically allocating compute in transformer-based language models