タグ
#Chain of Draftの記事一覧
1件の記事があります。
推論最適化
Chain of Draftとは？推論の途中メモを短くしてLLMの精度を保ちながらコストと遅延を下げる技術
Chain of Draftは、LLMに長い思考文を書かせる代わりに、短い下書きだけで推論させる手法です。Chain-of-Thoughtの精度をなるべく保ちながら、推論トークン数と応答遅延を大きく減らす仕組みと使い道を解説します。
参照論文：Chain of Draft: Thinking Faster by Writing Less