タグ
#推論高速化の記事一覧
3件の記事があります。
推論最適化
DeepCacheとは？拡散モデルの特徴量キャッシュで画像生成を高速化する技術
DeepCacheは、U-Net型拡散モデルの隣接するノイズ除去ステップで似た高レベル特徴を再利用し、再学習なしで画像生成を高速化する推論最適化手法です。仕組み、実験結果、実装時の注意点を解説します。
参照論文：DeepCache: Accelerating Diffusion Models for Free
推論最適化
Token Mergingとは？Vision Transformerを高速化するトークン統合の仕組みと使い道
Token Merging（ToMe）は、Vision Transformerの似たトークンを段階的に統合し、再学習なしでも推論を大きく高速化できる手法です。なぜトークン削減が効くのか、どのように精度低下を抑えるのか、画像・動画・音声や生成AIへどう応用できるのかを解説します。
参照論文：Token Merging: Your ViT But Faster
推論最適化
Speculative Decodingとは？LLM推論を品質そのままで高速化する仕組みと使い道
Speculative Decodingは、小さなドラフトモデルで先読みした候補を大きな本命モデルがまとめて検証し、出力分布を変えずにLLM推論を高速化する技術です。仕組み、評価結果、実務での使い道まで日本語で整理します。
参照論文：Fast Inference from Transformers via Speculative Decoding