タグ
#Scissorhandsの記事一覧
1件の記事があります。
推論最適化
Scissorhandsとは？重要トークンを残してLLMのKVキャッシュを圧縮する技術
Scissorhandsは、将来も参照されやすい重要トークンだけをKVキャッシュに残すことで、LLM推論のメモリを削減する手法です。仕組み、実験結果、長文RAGやLLMサービングへの活用を解説します。
参照論文：Scissorhands: Exploiting the Persistence of Importance Hypothesis for LLM KV Cache Compression at Test Time