タグ
#LLM学習の記事一覧
2件の記事があります。
学習・ファインチューニング
GaLoreとは？全パラメータ学習を保ったままLLM学習メモリを大幅削減する手法
GaLoreは、勾配を低ランク空間へ射影することで、LoRAのように更新対象を絞らずに学習メモリを削減する手法です。仕組み、LoRAとの違い、実験結果、開発への使い道まで日本語で整理します。
参照論文：GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection
学習・ファインチューニング
Multi-Token Predictionとは？LLMをより賢く速くする学習手法の仕組みと使いどころ
Multi-Token Predictionは、次の1トークンだけでなく複数の未来トークンを同時に予測する学習手法です。なぜ学習効率やコード生成性能が上がるのか、推論高速化にどうつながるのか、実装の考え方と活用先を日本語で解説します。
参照論文：Better & Faster Large Language Models via Multi-token Prediction