タグ
#GaLoreの記事一覧
1件の記事があります。
学習・ファインチューニング
GaLoreとは？全パラメータ学習を保ったままLLM学習メモリを大幅削減する手法
GaLoreは、勾配を低ランク空間へ射影することで、LoRAのように更新対象を絞らずに学習メモリを削減する手法です。仕組み、LoRAとの違い、実験結果、開発への使い道まで日本語で整理します。
参照論文：GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection