タグ

#AdamWの記事一覧

1件の記事があります。

学習・ファインチューニング

AdamWとは？重みの減衰を勾配から分離し、モデルの汎化性能を改善する学習技術

AdamWは、Adamの適応的な勾配更新と重みの減衰を分ける最適化手法です。L2正則化との違い、モーメントと更新式、画像分類の実験条件から、専用モデルの学習設定やファインチューニングへの応用と注意点を解説します。

参照論文：Decoupled Weight Decay Regularization