タグ
#Activation Beaconの記事一覧
1件の記事があります。
推論最適化
Activation Beaconとは？長文コンテキストを圧縮してLLMの文脈長と推論効率を伸ばす技術
Activation Beaconは、長い入力を beacon token のKV表現に圧縮し、LLMの短いコンテキスト窓でもより長い文脈を扱えるようにする手法です。仕組み、実験結果、RAGや長文エージェントへの使い道を日本語で解説します。
参照論文：Long Context Compression with Activation Beacon