9月18日，首次DeepSeek再次引發轟動。蒸餾質疑由DeepSeek團隊共同完成、首次梁文鋒擔任通訊作者的蒸餾質疑DeepSeek-R1研究論文，登上了國際權威期刊《Nature》的首次封面。
今年1月，DeepSeek曾在arxiv公布了初版預印本論文，首次相較而言，蒸餾質疑此次發布在《Nature》的首次版本補充了更多模型細節，減少了描述中的蒸餾質疑擬人化說明。在補充材料中，首次DeepSeek提到了R1模型的蒸餾質疑訓練成本僅29.4萬美元，以及回應了模型發布之初關于蒸餾OpenAI的首次質疑。
今年1月，蒸餾質疑有報道提到，首次OpenAI研究人員認為，DeepSeek可能使用了OpenAI模型的輸出來訓練R1，這種方法可以在使用較少資源的情況下加速模型能力提升。
在論文的補充資料部分，DeepSeek回應了關于DeepSeek-V3-Base訓練數據來源的問題?！癉eepSeek-V3-Base的訓練數據僅來自普通網頁和電子書，不包含任何合成數據。在預訓練冷卻階段，我們沒有故意加入OpenAI生成的合成數據，此階段使用的所有數據都是通過網頁抓取的。”DeepSeek表示。
不過，DeepSeek也說明，已觀察到一些網頁包含大量OpenAI模型生成的答案，這可能導致基礎模型間接受益于其他強大模型的知識。此外，預訓練數據集包含大量數學和編程相關內容，表明DeepSeek-V3-Base已經接觸到大量有推理痕跡的數據。這種廣泛的接觸使模型能夠生成較為合理的解決方案，強化學習可以從中識別并優化輸出質量。DeepSeek表示，已在預訓練中針對數據污染進行了處理。
哥倫布市俄亥俄州立大學的AI研究員Huan Sun表示，這一反駁“與我們在任何出版物中看到的內容同樣具有說服力”。Hugging Face的機器學習工程師、同時也是論文審稿人之一的Lewis Tunstall補充說，盡管他不能100%確定R1未基于OpenAI示例進行訓練，但其他實驗室的復制嘗試表明，DeepSeek的推理方案可能足夠優秀而無須這樣做。“我認為現有證據已相當明確地表明，僅使用純強化學習即可獲得極高性能?！彼硎尽?/p>
DeepSeek也在補充資料部分提到DeepSeek-R1的訓練成本。在DeepSeek-R1的研究過程中，團隊使用 A100 GPU 完成了較小規模模型（30B參數）的實驗，隨后團隊將訓練擴展至 660B參數的R1-Zero和R1模型。
具體而言，DeepSeek-R1-Zero訓練使用了64×8張H800GPU，耗時約198小時。DeepSeek-R1訓練同樣使用了64×8張H800 GPU，耗時約4天（約80小時）。此外，構建SFT數據集消耗了約5000小時的GPU運算。
DeepSeek表示，假設H800的租賃價格為每小時2美元，DeepSeek-R1-Zero訓練成本20.2萬美元，SFT數據集創建花費1萬美元，DeepSeek-R1訓練成本8.2萬美元，這三項的總成本為29.4萬美元。折合成人民幣，這些成本約200萬元。
R1基于DeepSeek-V3模型訓練，不過，即便加上訓練V3模型所花費的約600 萬美元訓練成本，總金額仍遠低于競爭對手的模型所花費的數千萬美元。
DeepSeek-R1已經成為了全球最受歡迎的開源推理模型，Hugging Face下載量超1090萬次。到目前為止，DeepSeek-R1也是全球首個經過同行評審的主流大語言模型。
Lewis Tunstall表示，“這是一個非常受歡迎的先例，如果沒有公開分享這一流程大部分內容的規范，就很難評估這些系統是否存在風險。”當前 AI 行業不乏刷榜的傳聞，基準測試可被操控，而經過獨立的同行評審顯然也能打消疑慮。
具體到此次發布論文內容，其題目是《DeepSeek-R1： Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》，主要公開了僅靠強化學習，就能激發大模型推理能力的重要研究成果。
、
以往的研究主要依賴大量監督數據來提升模型性能。DeepSeek的開發團隊則開辟了一種全新的思路，即使不用監督微調（SFT）作為冷啟動，通過大規模強化學習也能顯著提升模型的推理能力。如果再加上少量的冷啟動數據，效果會更好。
在強化學習中，模型正確解答數學問題時會獲得高分獎勵，答錯則會受到懲罰。因此模型學會了推理，逐步解決問題并揭示這些步驟，從而更有可能得出正確答案。這使得 DeepSeek-R1 能夠自我驗證和自我反思，在給出新問題的答案之前檢查其性能，從而提高其在編程和研究生水平科學問題上的表現。
DeepSeek在模型訓練中，采用了群組相對策略優化（GRPO）來降低訓練成本，設計獎勵機制決定著強化學習優化的方向，同時團隊設計了簡單模板來引導基礎模型，要求模型先給出推理過程，再提供最終答案。
為了使更高效的小模型具備 DeepSeek-R1 那樣的推理能力，開發團隊還直接使用 DeepSeek-R1 整理的 80 萬個樣本對 Qwen 和 Llama 等開源模型進行了微調。研究結果表明，這種簡單的蒸餾方法顯著增強了小模型的推理能力。