タグ
#LLMファインチューニングの記事一覧
1件の記事があります。
学習・ファインチューニング
MeZOとは？逆伝播なしでLLMを省メモリにファインチューニングする技術
MeZOは、損失を2回の順伝播で測るだけで更新方向を推定し、推論とほぼ同じメモリ使用量でLLMをファインチューニングする手法です。仕組み、実験結果、実装上の注意点を解説します。
参照論文：Fine-Tuning Language Models with Just Forward Passes
タグ
1件の記事があります。
MeZOは、損失を2回の順伝播で測るだけで更新方向を推定し、推論とほぼ同じメモリ使用量でLLMをファインチューニングする手法です。仕組み、実験結果、実装上の注意点を解説します。
参照論文：Fine-Tuning Language Models with Just Forward Passes