タグ
#LLM量子化の記事一覧
1件の記事があります。
推論最適化
GPTQとは？再学習なしでLLMを低ビット量子化し推論メモリを削減する技術
GPTQは、学習済みLLMの重みを再学習せず3〜4bitへ圧縮し、精度低下を抑えながら推論メモリと遅延を削減する後学習量子化手法です。仕組み、実験結果、実装時の注意点を解説します。
参照論文：GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers