タグ
#KV Cacheの記事一覧
1件の記事があります。
推論最適化
StreamingLLMとは？長時間会話を止めずに続けるAttention Sinkベースの無限長推論技術
StreamingLLMは、LLMの冒頭トークンをAttention Sinkとして残しながら最近のトークンだけを保持し、長時間会話や連続入力を安定して処理する推論最適化技術です。仕組み、課題、実験結果、エージェントやチャット開発への使い道を日本語で解説します。
参照論文：Efficient Streaming Language Models with Attention Sinks