タグ
#CacheBlendの記事一覧
1件の記事があります。
RAG・検索
CacheBlendとは？RAGのKVキャッシュを融合して初回応答を高速化する技術
CacheBlendは、RAGで取得した複数チャンクのKVキャッシュを再利用しつつ、文脈間の関係に必要な一部だけを再計算するLLM推論技術です。仕組み、性能、RAG開発への活かし方を解説します。
参照論文：CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion