今回の論文
今回取り上げるのは、DeepSeek-AI、Daya Guo、Dejian Yang、Haowei Zhang、Junxiao Song、Peiyi Wang、Qihao Zhu、Runxin Xu、Ruoyu Zhang、Shirong Ma らによる論文「DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning」です。2025年1月22日に arXiv で公開され、2026年1月4日に改訂版が公開されています。公開元は arXiv、URL は https://arxiv.org/abs/2501.12948、DOI は https://doi.org/10.48550/arXiv.2501.12948 です。研究分野は、LLMの強化学習、推論モデル、ポストトレーニング、知識蒸留です。
この論文を選んだ理由は、LLMの推論能力を「人が書いた模範的な思考過程を大量に覚えさせる」方向ではなく、「正解を検証できる問題で、モデル自身に探索させる」方向から伸ばしているからです。AIアプリ開発でも、テスト、採点器、業務ルール、構造化出力チェックを報酬として使い、モデルやエージェントを改善する発想に応用しやすい論文です。
どんな技術か
DeepSeek-R1は、LLMに長い推論をさせる能力を、強化学習によって引き出すための学習パイプラインです。
ポイントは、最初から人間が書いた詳細なChain-of-Thoughtを大量に教師データとして与えるのではなく、数学、コード、論理問題のように「最終回答が正しいか」を比較的客観的に判定できるタスクを使うことです。モデルは複数の解答を生成し、正解や指定フォーマットを満たした出力が高い報酬を受けます。この反復により、モデルは検算、自己修正、別解の探索、途中で方針を変えるといった推論行動を自然に増やしていきます。
論文では、教師ありファインチューニングを事前に入れず、DeepSeek-V3-Baseに直接大規模RLを適用した DeepSeek-R1-Zero と、読みやすさや汎用応答能力を補うためにコールドスタートデータ、RL、拒否サンプリング、SFT、追加RLを組み合わせた DeepSeek-R1 が示されています。
つまりDeepSeek-R1は、単なるモデル名というより、「検証可能な報酬で推論行動を育て、必要に応じてSFTと蒸留で使いやすくする」推論モデルの作り方だと捉えると理解しやすいです。
課題
この論文が扱う課題は、LLMに複雑な推論をさせる能力を、どうスケールしやすく伸ばすかです。
従来の方法では、Chain-of-Thoughtのような中間推論を人間が書き、それを教師あり学習で模倣させる発想がよく使われます。この方法は安定していますが、良質な思考過程データを大量に作るコストが高くなります。また、人間が書いた解法を模倣するため、モデルが人間の例より良い探索戦略を見つけにくい可能性もあります。
一方、単に強化学習をかければよいわけでもありません。自由回答の品質は採点が難しく、報酬モデルを使うと reward hacking が起きることがあります。さらに、推論モデルでは長い出力を生成するため、学習時の計算コストも大きくなります。正解できるかどうかだけを見て学習させる場合でも、問題が簡単すぎると学習信号が弱く、難しすぎると正例がほとんど出ません。
実際のAIシステムでも、この課題は重要です。コード生成ならユニットテストを通す必要があります。RAGなら根拠に基づいて正答する必要があります。業務自動化エージェントなら、途中の判断だけでなく最終的なタスク完了が重要です。DeepSeek-R1の論文は、こうした「最終結果を検証できるタスク」から、モデルの推論能力そのものを引き出せるかを大規模に検証しています。
用語解説
- Chain-of-Thought
- モデルが最終回答だけでなく、中間的な推論手順を生成する方法です。DeepSeek-R1では、この長い推論を人手で完全に教えるのではなく、報酬によって自然に増やす点が重要です。
- GRPO
- Group Relative Policy Optimizationの略で、同じ質問に対する複数の出力を比べ、グループ内の相対的な報酬から方策を更新する強化学習手法です。DeepSeek-R1の学習で使われる中心的な最適化手法です。
- ルールベース報酬
- 報酬モデルではなく、正答判定やフォーマット確認などのルールで報酬を与える方法です。数学の最終答えやコードのテスト結果のように検証しやすいタスクでは、報酬ハッキングを抑えやすい信号になります。
- コールドスタートデータ
- 本格的な強化学習に入る前に、最低限の読みやすい応答形式や会話形式を与えるための少量データです。DeepSeek-R1-Zeroの課題だった読みにくさや言語混在を抑えるために使われます。
- 知識蒸留
- 大きな教師モデルの出力を使って、小さなモデルを訓練する方法です。DeepSeek-R1では、強い推論モデルが生成した約80万件のデータを使い、QwenやLlamaベースの小型モデルへ推論能力を移しています。
技術の仕組み
DeepSeek-R1の基本アイデアは、LLMの推論を「正解に向けた探索」として扱うことです。人間が理想的な推論手順をすべて書くのではなく、モデルに複数の回答候補を生成させ、その中で正解したものや指定形式を満たしたものを報酬で押し上げます。
DeepSeek-R1-Zero: SFTなしで推論行動を引き出す
最初のモデルであるDeepSeek-R1-Zeroは、DeepSeek-V3-Baseに対して、事前の教師ありファインチューニングなしで強化学習を適用します。通常のポストトレーニングでは、SFTで望ましい応答形式を教えてからRLに進むことが多いですが、論文ではあえてこの段階を省いています。
理由は、人間が書いた推論パターンを先に強く学ばせると、モデルの探索範囲が狭くなる可能性があるためです。DeepSeek-R1-Zeroでは、回答形式として <think> と <answer> のような構造を要求しつつ、推論の中身については細かく制約しません。報酬は主に、最終回答の正しさとフォーマット遵守で与えます。
この設計により、モデルは長い推論を生成しながら、途中で検算したり、間違いに気づいて別の方針を試したりする行動を学びます。論文では、AIME 2024でのDeepSeek-R1-ZeroのPass@1が学習中に15.6%から77.9%へ上昇し、self-consistencyを使うと86.7%に達したと報告されています。
GRPOで複数候補を相対評価する
DeepSeek-R1で使われる強化学習アルゴリズムはGRPOです。PPOでは通常、方策モデルとは別に価値モデルを持ち、各状態の価値を推定します。しかし大規模LLMでは、価値モデルを用意するだけでも大きな計算資源が必要になります。
GRPOはこの部分を簡略化します。1つの質問に対して複数の出力をサンプリングし、それぞれの報酬をグループ平均と標準偏差で正規化します。つまり、「この回答は同じ質問に対する他の回答より良かったか」をadvantageとして使います。
この方法は、数学やコードのように正誤判定がしやすいタスクと相性がよいです。絶対的な価値関数を学習しなくても、同じ問題に対する候補群の中で相対的に良い出力を強化できます。DeepSeek-R1では、各質問から16個の出力を生成し、長いコンテキスト長を許容しながら学習を進めます。
報酬設計: 正解、形式、言語一貫性
DeepSeek-R1-Zeroの報酬は、主に正解報酬とフォーマット報酬です。数学では最終回答が正しいかを判定し、コードではコンパイラやテストケースで解答を評価します。フォーマット報酬は、推論過程と最終回答が指定タグに収まっているかを確認します。
DeepSeek-R1では、これに言語一貫性の報酬が加わります。DeepSeek-R1-Zeroでは、中国語と英語が混ざるなど、読みにくい推論が出る問題がありました。そこで、対象言語の単語割合を報酬に加え、推論の読みやすさを改善します。ただし論文では、この言語一貫性報酬が推論性能を少し落とす可能性も示しており、性能と可読性のトレードオフがあります。
DeepSeek-R1: 多段階パイプラインで使いやすくする
DeepSeek-R1-Zeroは純粋なRLによって強い推論能力を示しましたが、実用モデルとしては課題が残りました。主な問題は、応答の読みやすさ、言語混在、一般的な会話や文章生成での弱さです。
DeepSeek-R1では、まず少量のコールドスタートデータで、人間が読みやすい会話形式の推論を与えます。その後、推論タスクに対するRLを行い、拒否サンプリングで高品質な出力を集めます。さらに、推論データと非推論データを混ぜた約80万件のSFTを行い、最後に推論データと一般データを混ぜた追加RLを適用します。
この流れは、RLとSFTの役割分担をよく表しています。RLは、正解に向けた探索や長い推論のように、人間が完全に書き下すのが難しい能力を伸ばします。一方、SFTは、読みやすさ、指示追従、一般的な応答品質のように、報酬だけでは制御しにくい部分を整えます。
蒸留で小型モデルへ推論能力を移す
DeepSeek-R1のもう1つの重要な要素は蒸留です。論文では、DeepSeek-R1が生成した約80万件のサンプルを使い、QwenやLlamaベースの小型モデルをSFTしています。ここでは追加のRLを行わず、教師モデルの高品質な推論出力を学習させます。
興味深いのは、小型モデルに直接大規模RLをかけるより、強い教師モデルから蒸留したほうが高性能だった点です。論文では、Qwen2.5-32B-Baseに大規模RLをかけたQwen2.5-32B-Zeroより、DeepSeek-R1-Distill-Qwen-32BのほうがAIME、MATH、GPQA、LiveCodeBenchで高い性能を示しています。
これは、実務にも重要です。巨大モデルを自前でRLするのは難しくても、強い推論モデルの出力を集め、用途に合う小型モデルへ蒸留する戦略は現実的な選択肢になります。
実験と結果
論文では、DeepSeek-R1-Zero、DeepSeek-R1の各開発段階、既存モデル、蒸留モデルを、数学、コード、一般知識、指示追従、長文理解など幅広いベンチマークで評価しています。
何を検証したのか
主に検証しているのは、3つです。
1つ目は、SFTなしの純粋なRLだけで、LLMに高度な推論行動が出るかです。DeepSeek-R1-Zeroの実験はこの問いに対応します。
2つ目は、純粋なRLで得た推論能力を、読みやすさや汎用応答能力を損なわない形に整えられるかです。DeepSeek-R1の多段階パイプラインがこの検証です。
3つ目は、大型推論モデルの能力を小型モデルへ移せるかです。DeepSeek-R1-Distillシリーズの評価がこの検証にあたります。
データセットと評価指標
評価には、MMLU、MMLU-Redux、MMLU-Pro、DROP、GPQA Diamond、FRAMES、IFEval、AlpacaEval 2.0、Arena-Hard、LiveCodeBench、Codeforces、SWE-bench Verified、AIME 2024、MATH-500、CNMO 2024、C-Eval、CLUEWSCなどが使われています。
数学ではAIME 2024やMATH-500のPass@1、コードではLiveCodeBenchのPass@1、Codeforcesのpercentileやrating、実リポジトリ修正ではSWE-bench Verifiedの解決率が使われています。一般能力ではMMLU系、指示追従ではIFEval、ユーザー好み寄りの評価ではAlpacaEval 2.0やArena-Hardが使われます。
この評価セットの広さは、DeepSeek-R1が単に数学専用モデルではなく、推論能力を伸ばしながら一般的なLLMとして使えるかを見ていることを示しています。
DeepSeek-R1-Zeroの結果
DeepSeek-R1-Zeroは、SFTなしのRLだけで推論能力を大きく伸ばしました。AIME 2024のPass@1は、学習初期の15.6%から77.9%へ上がり、self-consistencyを使うと86.7%に達しています。
また、学習が進むにつれて応答長が伸び、モデルが難しい問題でより多くの思考トークンを使うようになったことも報告されています。これは単に出力が長くなったというより、検算、方針変更、別解探索のような行動が増えたことを示唆します。
ただし、DeepSeek-R1-Zeroには弱点もありました。読みやすさが低く、言語混在が起き、一般的な会話や文章生成では十分ではありませんでした。このため、論文はDeepSeek-R1という多段階パイプラインに進みます。
DeepSeek-R1の結果
DeepSeek-R1は、数学、コード、一般能力のバランスを改善しています。論文の表では、AIME 2024が79.8、MATH-500が97.3、LiveCodeBenchが65.9、Codeforces ratingが2029、SWE-bench Verifiedが49.2と報告されています。
開発段階ごとの比較も重要です。R1-ZeroからDev1では、コールドスタートデータによって指示追従やユーザー評価系のスコアが改善する一方、推論ベンチマークでは一部低下が見られます。その後、推論RLでDev2が数学・コード・STEM系を伸ばし、Dev3では推論データと非推論データを混ぜたSFTによって、一般応答やコーディング支援の性能が上がります。最終的なR1では、混合データでの追加RLにより、AlpacaEval 2.0やArena-Hardのようなユーザー好み寄りの評価も大きく改善しています。
結果から言えるのは、推論能力だけを最大化するなら純粋RLは強力ですが、実用モデルには可読性、言語一貫性、指示追従、一般応答能力を補う工程が必要だということです。
蒸留モデルの結果
蒸留モデルの結果も実務上かなり重要です。DeepSeek-R1-Distill-Qwen-1.5Bは、AIME 2024で28.9、MATH-500で83.9を示し、1.5Bという小さなサイズでも推論能力が移ることを示しています。さらに、DeepSeek-R1-Distill-Qwen-32BはAIME 2024で72.6、MATH-500で94.3、GPQA Diamondで62.1、LiveCodeBenchで57.2を記録しています。
論文では、Qwen2.5-32B-Baseに直接大規模RLを行ったQwen2.5-32B-Zeroと、DeepSeek-R1から蒸留したDeepSeek-R1-Distill-Qwen-32Bを比較しています。その結果、蒸留モデルのほうが主要な推論ベンチマークで高性能でした。
これは、小型モデルでは「自力でRL探索する」より「強い教師の探索結果を学ぶ」ほうが効率的な場合があることを示しています。大規模RLは強いベースモデルと大きな計算資源があるときに有効で、小型モデルには蒸留が現実的、という使い分けが見えてきます。
何に使える？
DeepSeek-R1の考え方は、推論が必要なAIアプリや社内ツールに広く応用できます。特に、最終結果を自動検証できる領域では、「良い推論データを人手で書く」だけでなく、「モデルに複数案を出させ、検証器で良い案を選ぶ」開発サイクルを作れます。
コード生成・バグ修正エージェント
コード生成では、最終的にテストが通るか、型チェックが通るか、lintに違反しないかを自動で判定できます。DeepSeek-R1の発想を使うと、モデルに複数の修正案を生成させ、テスト結果を報酬や選別条件にして、より良いパッチを学習データ化できます。
すぐに強化学習まで行わなくても、合格した解答を集めてSFTや蒸留に使うだけでも効果が見込めます。小規模な開発チームなら、CIログ、失敗テスト、修正パッチを結びつけたデータセットを作るところから始められます。
RAG・検索エージェント
RAGでは、回答が根拠文書に基づいているか、引用が正しいか、最終回答が既知の正解と一致するかを評価できます。DeepSeek-R1のような報酬設計を応用すれば、検索クエリ、根拠選択、回答生成の改善に使える可能性があります。
たとえば社内FAQなら、正答、参照文書、禁止される推測、必要な引用形式をルール化できます。複数回答を生成し、正しい根拠を使った回答を選ぶことで、RAGの後段生成モデルや回答テンプレートを改善できます。
数学・設計・分析支援ツール
数学、データ分析、設計レビューのように、途中の検討が重要なタスクにも向いています。最終答えだけでなく、検算、代替案、制約チェックを含む出力を作れるモデルは、単発回答よりも実務支援に向いています。
ただし、DeepSeek-R1が示しているのは、正解を検証しやすい領域で特にRLが効きやすいということです。設計レビューや事業判断のように正解が曖昧な領域では、ルールベース報酬だけでは不十分で、人間評価や別の評価器を組み合わせる必要があります。
小型推論モデルの作成
蒸留の結果は、小型モデルを用途特化で作りたい場合に参考になります。巨大モデルを本番で常時使うのが難しい場合でも、強い推論モデルの出力を集め、7B、14B、32B程度のモデルへ学習させれば、コストを抑えた推論モデルを作れる可能性があります。
社内環境で使うなら、汎用の推論データに加えて、自社のドメイン問題、テスト、業務ルールを混ぜることで、より実用的な小型モデルにできます。この部分は論文の直接結果ではなく応用上の推測ですが、DeepSeek-R1の蒸留結果から見て有望な方向です。
開発や事業へのヒント
この論文から得られる最大のヒントは、AIプロダクトの改善を「プロンプト改善」だけで終わらせず、「評価可能なタスクを集め、報酬や選別条件として使う」仕組みに発展させることです。
評価器はそのまま学習資産になる
AIアプリを作るとき、テスト、採点スクリプト、JSONスキーマ検証、根拠チェック、業務ルールチェックを用意することがあります。DeepSeek-R1の考え方では、これらは単なる品質保証ではなく、モデルを改善するための報酬源になります。
たとえば、問い合わせ回答なら「正しい文書を引用しているか」、コード修正なら「テストが通ったか」、帳票処理なら「数値整合性が取れているか」を評価できます。こうした検証器を早い段階で整備しておくと、将来的にSFT、DPO、GRPO、拒否サンプリングへつなげやすくなります。
まずは拒否サンプリングから始められる
多くのチームにとって、大規模RLをすぐ回すのは現実的ではありません。しかし、DeepSeek-R1のパイプラインには、拒否サンプリングとSFTという入りやすい部分があります。
同じ入力に対して複数回答を生成し、テストやルールで良いものだけを残す。そのデータを社内評価やファインチューニングに使う。この流れなら、小規模なAIアプリでも始めやすいです。十分なデータと評価器が育ってから、GRPOのようなRLに進むほうが現実的です。
推論能力と使いやすさは別々に設計する
DeepSeek-R1-Zeroは、推論能力は高いものの、読みやすさや言語一貫性に問題がありました。これは実務でも重要な示唆です。正解率だけを追うと、出力が長すぎる、読みづらい、フォーマットが安定しない、不要な推論を見せるといった問題が出ます。
プロダクトでは、内部では長く探索し、ユーザーには簡潔に説明するなど、推論能力とUXを分けて設計する必要があります。報酬にも、正解だけでなく、形式、長さ、引用、言語、拒否条件をどう入れるかを考えるべきです。
小型モデル戦略では蒸留を重視する
論文の結果を見ると、小型モデルに直接RLをかけるより、大型推論モデルから蒸留するほうが効率的な場合があります。これは、GPU予算が限られるチームには重要です。
自社で巨大モデルを訓練できなくても、強い教師モデルで高品質な推論データを作り、用途特化の小型モデルを育てる戦略は現実的です。特にオンプレミス、エッジ、低レイテンシAPI、コスト制約のあるSaaSでは、蒸留済み小型モデルの価値が大きくなります。
限界
DeepSeek-R1の技術には強い示唆がありますが、限界も明確です。
まず、計算コストが大きいです。DeepSeek-R1-ZeroやDeepSeek-R1のような大規模RLには、強いベースモデル、長い出力を扱う訓練基盤、大量のrollout生成、安定した報酬計算が必要です。小規模チームがそのまま再現するのは難しく、実務では拒否サンプリングや蒸留から始めるのが現実的です。
次に、データと報酬に強く依存します。数学やコードのように正解が検証できる領域では強いですが、顧客対応、企画、デザイン、法務判断のように正解が曖昧な領域では、単純なルールベース報酬だけでは足りません。報酬モデルを入れると、今度はreward hackingや評価器の偏りが問題になります。
精度や再現性にも注意が必要です。長い推論を生成するモデルは、推論トークン数が増えるほどレイテンシとコストが上がります。論文では、難しい問題ほどより多くの思考トークンを使う傾向が示されていますが、実サービスでは応答時間や利用料金とのバランスを取る必要があります。
実装の難しさもあります。GRPO、長いコンテキスト、複数候補生成、報酬計算、KL制約、参照モデル更新、データ混合、蒸留まで含めると、単なるファインチューニングより運用は複雑です。特に、報酬設計を誤ると、フォーマットだけ守って中身が弱い回答や、採点器の穴を突く回答が増える可能性があります。
最後に、論文の成果は強いDeepSeek-V3-Baseに支えられています。小さすぎるモデルでは、長いCoTを出しても繰り返しが増え、性能向上につながりにくかったことも報告されています。したがって、「RLをかければどんなモデルでも推論能力が大きく伸びる」と考えるのは危険です。
よくある質問
Q. DeepSeek-R1はGRPOの論文と何が違いますか？
A. GRPOはLLMを強化学習するための最適化手法です。一方、DeepSeek-R1はGRPOを使いながら、ルールベース報酬、コールドスタートデータ、拒否サンプリング、SFT、追加RL、蒸留まで含めた推論モデルの作り方を示しています。この記事では、GRPO単体ではなく、推論能力を引き出す全体パイプラインとして見ています。
Q. なぜ人間の思考過程を大量に学習するだけでは不十分なのですか？
A. 人間の思考過程は有用ですが、作成コストが高く、モデルが人間の解法パターンに縛られる可能性があります。DeepSeek-R1では、最終回答を検証できる問題でモデル自身に探索させることで、検算や方針変更のような推論行動を報酬から引き出しています。ただし、読みやすさや一般応答能力にはSFTも必要です。
Q. DeepSeek-R1の方法は自社AIアプリにも使えますか？
A. そのまま大規模RLを再現するのは難しいですが、考え方は使えます。テスト、採点器、スキーマ検証、根拠チェックなどで複数回答を選別し、良い出力を学習データとして蓄積する方法は、小規模なAIアプリでも始めやすいです。
Q. 推論モデルは常に長く考えさせたほうがよいですか？
A. いいえ。論文では、難しい問題ほど多くの思考トークンを使う傾向が示されていますが、簡単な問題にまで長い推論を使うと、コストとレイテンシが無駄になります。実サービスでは、問題の難しさに応じて推論量を調整する設計が重要です。
Q. 小型モデルを作るならRLと蒸留のどちらがよいですか？
A. 論文の結果では、小型モデルに直接大規模RLを行うより、強いDeepSeek-R1から蒸留したモデルのほうが高性能でした。GPU予算が限られる場合は、まず強い教師モデルで高品質な推論データを作り、用途特化の小型モデルへ蒸留するほうが現実的です。
今日の学び
この論文は、LLMの高度な推論能力を、人手で書いた思考過程の模倣だけに頼らず、正解を検証できるタスクの報酬から引き出す課題を扱っています。
DeepSeek-R1は、GRPO、ルールベース報酬、コールドスタートデータ、多段階SFT/RL、蒸留を組み合わせることで、推論能力と実用的な応答品質の両立を目指しました。
開発へのヒントは、AIアプリの評価器を単なるテストではなく、将来の学習信号として設計することです。コード、RAG、業務自動化のように結果を検証しやすい領域では、複数候補生成、選別、SFT、蒸留、RLへつながる改善ループを作れる可能性があります。