タグ
#LoRAの記事一覧
3件の記事があります。
学習・ファインチューニング
AdaLoRAとは？LoRAのランクを重要度に応じて再配分する省パラメータ学習
AdaLoRAは、LoRAの低ランク更新を全層へ均等に置かず、学習中の重要度に応じてランク予算を再配分するPEFT手法です。仕組み、実験結果、実装とプロダクトへの活かし方を解説します。
参照論文：Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
学習・ファインチューニング
DoRAとは？LoRAの精度差を埋める重み分解ファインチューニングの仕組みと使い道
DoRAは、LoRAの軽さを保ちながらフルファインチューニングに近い学習能力を目指すPEFT手法です。重みを大きさと向きに分ける考え方、仕組み、実験結果、開発への応用ポイントを日本語で解説します。
参照論文：DoRA: Weight-Decomposed Low-Rank Adaptation
学習・ファインチューニング
LoRAとは？少ない学習パラメータで大規模モデルを適応させる低ランクファインチューニングを解説
LoRAは、事前学習済みモデル本体を凍結したまま、低ランク行列だけを学習して新しいタスクに適応させる手法です。なぜ軽くて強いのか、仕組み、実験結果、実装へのヒントを日本語で整理します。
参照論文：LoRA: Low-Rank Adaptation of Large Language Models