タグ
#InferCeptの記事一覧
1件の記事があります。
推論最適化
InferCeptとは？AIエージェントのツール呼び出し中にKVキャッシュを最適管理する推論基盤
InferCeptは、AIエージェントが検索や外部APIを呼び出して推論が中断する際、KVキャッシュの保持・CPU退避・再計算を選び分けるLLMサービング技術です。仕組み、実験結果、エージェント開発への応用を解説します。
参照論文：InferCept: Efficient Intercept Support for Augmented Large Language Model Inference