タグ
#SmoothQuantの記事一覧
1件の記事があります。
推論最適化
SmoothQuantとは？LLMをW8A8量子化して推論を高速化する技術
SmoothQuantは、活性値の外れ値を重み側へオフラインで移し、LLMのW8A8量子化を実用化する技術です。仕組み、実験結果、推論最適化への使い道を日本語で解説します。
参照論文：SmoothQuant: Accurate and Efficient Post-Training Quantization for Large Language Models