タグ
#最適化の記事一覧
1件の記事があります。
学習・ファインチューニング
SAMとは？重みを少し動かしても損失が低いモデルを学び、汎化性能を改善する技術
Sharpness-Aware Minimization（SAM）は、重みの近傍で損失が増えにくい解を探す学習手法です。2回の勾配計算による更新、画像分類の実験条件と結果、専用モデル開発への応用、学習コストや分散実装の注意点を解説します。
参照論文：Sharpness-Aware Minimization for Efficiently Improving Generalization