#Cut Cross-Entropyの記事一覧

Cut Cross-Entropyとは？大語彙LLM学習のGPUメモリを大幅に減らす損失計算

Cut Cross-Entropy（CCE）は、巨大なlogit行列をGPUメモリに保存せずに交差エントロピー損失を計算する手法です。仕組み、実験結果、LLMの事前学習・ファインチューニングへ生かす方法を解説します。

参照論文：Cut Your Losses in Large-Vocabulary Language Models