タグ
#Chain of Continuous Thoughtの記事一覧
1件の記事があります。
LLM・基盤モデル
Coconutとは？LLMが言葉にせず潜在空間で考え、探索型推論を行う技術
Coconutは、LLMの隠れ状態を次の入力へ直接戻し、言語トークンを介さず連続潜在空間で推論する手法です。仕組み、段階的学習、実験結果、推論モデル開発への応用を解説します。
参照論文：Training Large Language Models to Reason in a Continuous Latent Space