タグ

#LLM学習の記事一覧

3件の記事があります。

Cut Cross-Entropyとは？大語彙LLM学習のGPUメモリを大幅に減らす損失計算

Cut Cross-Entropy（CCE）は、巨大なlogit行列をGPUメモリに保存せずに交差エントロピー損失を計算する手法です。仕組み、実験結果、LLMの事前学習・ファインチューニングへ生かす方法を解説します。

参照論文：Cut Your Losses in Large-Vocabulary Language Models

GaLoreは、勾配を低ランク空間へ射影することで、LoRAのように更新対象を絞らずに学習メモリを削減する手法です。仕組み、LoRAとの違い、実験結果、開発への使い道まで日本語で整理します。

参照論文：GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection

Multi-Token Predictionは、次の1トークンだけでなく複数の未来トークンを同時に予測する学習手法です。なぜ学習効率やコード生成性能が上がるのか、推論高速化にどうつながるのか、実装の考え方と活用先を日本語で解説します。

参照論文：Better & Faster Large Language Models via Multi-token Prediction