タグ

#ゼロ次最適化の記事一覧

1件の記事があります。

学習・ファインチューニング

MeZOとは？逆伝播なしでLLMを省メモリにファインチューニングする技術

MeZOは、損失を2回の順伝播で測るだけで更新方向を推定し、推論とほぼ同じメモリ使用量でLLMをファインチューニングする手法です。仕組み、実験結果、実装上の注意点を解説します。

参照論文：Fine-Tuning Language Models with Just Forward Passes