タグ
#LLMLinguaの記事一覧
1件の記事があります。
推論最適化
LLMLinguaとは？長いプロンプトを重要度順に圧縮してLLMのコストを抑える技術
LLMLinguaは、小型言語モデルでプロンプトの重要度を判定し、意味を保ちながら入力トークンを削る技術です。粗密2段階の仕組み、実験結果、RAGやエージェントでの使い方を解説します。
参照論文：LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models