DeepSeek 推理型AI盡顯高效訓練的小模型之威
記者：張偉成 新聞分類：產業科技 更新日期：2025-02-12 03:00:00
香港2025年2月11日 /美通社/ -- DeepSeek-R1是中國初創公司 DeepSeek 推出的人工智能模型，不久前，在人工智能開源平台 Hugging Face上發佈數小時後，便躍居下載量和活躍度最高模型的榜首。這也給金融市場帶來了震蕩，因為它促使投資者重新考慮英偉達（NVIDIA）等芯片製造商的估值，以及美國人工智能巨頭為擴大其人工智能業務規模而進行的巨額投資。
為何掀起如此大的波瀾？DeepSeek-R1 是一款所謂 "推理模型 "的數字助理，在某些數學和編碼任務的人工智能基準測試中，它的表現與 OpenAI 的 o1 不相上下；而據該公司稱，訓練該系統所使用的芯片數量卻要少得多，使用成本低約 96%。
IBM AI 硬件部門的一位首席研究科學家兼經理 Kaoutar El Maghraoui 說：「DeepSeek 無疑正在重塑人工智能的格局，它以開源的雄心和最先進的創新技術向巨頭們發起挑戰。」
與此同時，TikTok 的母公司、中國科技巨頭字節跳動（ByteDance）最近發佈了自己的推理型代理（智能體）UI-TARS，並聲稱該智能體在某些基準測試中優於 OpenAI 的 GPT-4o、Anthropic 的 Claude 和谷歌的 Gemini。ByteDance 的智能體可以讀取圖形界面，進行推理，並採取自主和一步接一步的行動。
從初創公司到成熟巨頭，中國的人工智能公司似乎正在縮小與美國競爭對手的差距，這在很大程度上要歸功於它們願意開源或與其他企業和軟件開發商共享底層軟件代碼。IBM花崗岩（Granite）模型高級技術產品經理Abraham Daniels說："DeepSeek已經能夠在整個社區推廣一些相當強大的模型。DeepSeek真的有可能加速人工智能的民主化。"DeepSeek-R1在 Hugging Face 上提供，根據MIT 許可證，允許不受限制地用於商業用途。
去年夏天，中國公司快手（Kuaishou）發佈了一款視頻生成工具，它與 OpenAI 的索拉（Sora）類似，但公眾可以直接使用。Sora 於去年 2 月亮相，但直到 12 月才正式發佈，即便如此，也只有訂閱了 ChatGPT Pro 的用戶才能使用其全部功能。Hugging Face 上的開發者還搶購了中國科技巨頭騰訊和阿里巴巴的新開源模式。雖然 Meta 已將其 Llama 模型開源，但 OpenAI 和谷歌在模型開發方面都主要採用閉源方式。
除了開源帶來的好處外，DeepSeek 工程師在訓練系統時使用的英偉達（NVIDIA）高度專業化芯片也僅為美國競爭對手的一小部分。例如，DeepSeek 工程師在發佈 DeepSeek-V3 模型時發表的研究論文稱，他們只需要 2000 個 GPU（圖形處理單元）或芯片就能訓練出他們的模型。
推理模型
IBM 院士（IBM Fellow） Kush Varshney說：「真正令人印象深刻的是DeepSeek模型的推理能力。」推理模型本質上是自我驗證或檢查，代表了一種 「元認知 」或「關于思考的思考」。 「我們正開始將智慧融入到這些模型中，這是巨大的進步，」 Varshney 說。
去年 9 月，當 OpenAI 預覽其 o1 推理模型時，推理模型成為熱門話題。與以往只給出答案而不解釋推理過程的人工智能模型不同，它通過將複雜問題分成幾個步驟來解決。推理模型可能需要多花幾秒或幾分鐘來回答問題，因為它們會一步一步或以 「思維鏈 」的方式來反思自己的分析。
強化學習
DeepSeek-R1將思維鏈推理與強化學習相結合，在強化學習中，自主智能體在沒有人類用戶任何指令的情況下，通過反復試錯學會執行任務。強化學習有別於更常用的學習形式，如監督學習和無監督學習，前者使用人工標注的數據進行預測或分類，後者旨在從無標注的數據中發現和學習隱藏的模式。
DeepSeek-R1 質疑了這樣一種假設，即通過對正確或錯誤行為的標記示例進行訓練，或者從隱藏模式中提取信息，模型的推理能力就會得到提高。密歇根州立大學博士生張逸驊撰寫了數十篇機器學習方面的論文，他說：「它的核心假設很簡約，卻不那麼簡單：我們能否只通過獎勵信號來教會模型正確回答，從而讓它自己摸索出最優的思考方式？」
張逸驊說，對於他和像他一樣習慣了傳統監督微調的專家而言，「眼見DeepSeek這樣的大型語言模型僅靠強化學習獎勵就能學會『更好地思考』，著實令人驚艷」，尤其是看到「模型出現真正的『aha(頓悟)時刻』，它能後退一步，發現錯誤並自我糾正」。
成本計算
DeepSeek 引發的熱議部分源於其低廉的價格。根據該公司發佈的技術報告，在聖誕節當天發佈的 DeepSeek-V3 的訓練成本為 550 萬美元，而對於希望試用它的開發人員來說，價格要便宜得多。 IBM傑出工程師Chris Hay說：「他們在模型成本方面所做的工作，以及他們訓練模型所花費的時間，確實令人印象深刻。」
然而，IBM研究院Granite技術產品管理總監Kate Soule表示，低廉的價格標籤可能並不是故事的全部。她說，550 萬美元的成本「只代表了所需計算量的一小部分」。她說，這還不包括公司即使採用開源模型也要保持專有的成本細節，比如 「強化學習、數據消減和超參數搜索的計算成本」。
然而，毋庸置疑的是，DeepSeek 通過使用專家混合（MoE）架構實現了更高的成本效益，而這種架構大大降低了訓練所需的資源。MoE 架構將人工智能模型劃分為不同的子網絡（或 「專家」），每個子網絡專門處理輸入數據的一個子集。模型只激活特定任務所需的特定專家，而不是激活整個神經網絡。因此，MoE 架構大大降低了預訓練期間的計算成本，並在推理期間實現了更快的性能。在過去一年中，包括法國領先的人工智能公司 Mistral 和 IBM 在內的全球多家公司著力推廣了 MoE 架構，並通過將 MoE 與開源相結合實現了更高的效率。（例如，IBM在2024年Think大會宣佈與紅帽一起推出 InstructLab，一個推動大模型開源創新的革命性大模型對齊方法。）
就 IBM 的一系列開源 Granite 模型（採用 MoE 架構開發）而言，企業能夠以極低的成本實現前沿模型的性能，因為他們可以針對特定應用或用例調整大型預訓練模型，從而有效創建更小的適用模型。將強大的功能集成到更小的稠密模型上，意味著這些模型可用於智能手機和其他在邊緣運行的移動設備，如汽車計算機或工廠車間的智能傳感器。
DeepSeek 的成功也得益於這種將大型模型提煉為資源密集度較低的小型模型的過程。在發佈其標誌性的 R1 模型的同時，這家中國初創公司還發佈了一系列更小的適合用途的模型。有趣的是，他們用實踐證明，與一開始就對小型模型進行強化學習相比，將大型模型蒸餾成小型模型的推理效果更好。
全球性的人工智能洗牌？
隨著它們在某些基準測試中與老一代競爭對手相抗衡或超越它們時，這些新的中國模型將如何影響全球人工智能格局？El Maghraoui 說：「全球人工智能格局不僅關乎基準測試的原始性能，更關係到是否能以安全和道德的方式對這些模型進行端到端的整合。」因此，El Maghraoui 表示，現在判斷 DeepSeek-R1 及其他產品是否會「改變人類互動、技術和企業應用」，還為時尚早。
最終，「開發人員的採用率將決定 DeepSeek 模型的受歡迎程度，」 Daniels說。他表示期待「看到他們為模型發掘出的各種用例」。
在IBM 院士 Kush Varshney 看來，全球AI競賽中的地緣政治差異，可能沒有人們想象的那麼重要，他說：「一旦模型開源，它源自何處在很多方面就不再重要了。」
為何掀起如此大的波瀾？DeepSeek-R1 是一款所謂 "推理模型 "的數字助理，在某些數學和編碼任務的人工智能基準測試中，它的表現與 OpenAI 的 o1 不相上下；而據該公司稱，訓練該系統所使用的芯片數量卻要少得多，使用成本低約 96%。
IBM AI 硬件部門的一位首席研究科學家兼經理 Kaoutar El Maghraoui 說：「DeepSeek 無疑正在重塑人工智能的格局，它以開源的雄心和最先進的創新技術向巨頭們發起挑戰。」
與此同時，TikTok 的母公司、中國科技巨頭字節跳動（ByteDance）最近發佈了自己的推理型代理（智能體）UI-TARS，並聲稱該智能體在某些基準測試中優於 OpenAI 的 GPT-4o、Anthropic 的 Claude 和谷歌的 Gemini。ByteDance 的智能體可以讀取圖形界面，進行推理，並採取自主和一步接一步的行動。
從初創公司到成熟巨頭，中國的人工智能公司似乎正在縮小與美國競爭對手的差距，這在很大程度上要歸功於它們願意開源或與其他企業和軟件開發商共享底層軟件代碼。IBM花崗岩（Granite）模型高級技術產品經理Abraham Daniels說："DeepSeek已經能夠在整個社區推廣一些相當強大的模型。DeepSeek真的有可能加速人工智能的民主化。"DeepSeek-R1在 Hugging Face 上提供，根據MIT 許可證，允許不受限制地用於商業用途。
去年夏天，中國公司快手（Kuaishou）發佈了一款視頻生成工具，它與 OpenAI 的索拉（Sora）類似，但公眾可以直接使用。Sora 於去年 2 月亮相，但直到 12 月才正式發佈，即便如此，也只有訂閱了 ChatGPT Pro 的用戶才能使用其全部功能。Hugging Face 上的開發者還搶購了中國科技巨頭騰訊和阿里巴巴的新開源模式。雖然 Meta 已將其 Llama 模型開源，但 OpenAI 和谷歌在模型開發方面都主要採用閉源方式。
除了開源帶來的好處外，DeepSeek 工程師在訓練系統時使用的英偉達（NVIDIA）高度專業化芯片也僅為美國競爭對手的一小部分。例如，DeepSeek 工程師在發佈 DeepSeek-V3 模型時發表的研究論文稱，他們只需要 2000 個 GPU（圖形處理單元）或芯片就能訓練出他們的模型。
推理模型
IBM 院士（IBM Fellow） Kush Varshney說：「真正令人印象深刻的是DeepSeek模型的推理能力。」推理模型本質上是自我驗證或檢查，代表了一種 「元認知 」或「關于思考的思考」。 「我們正開始將智慧融入到這些模型中，這是巨大的進步，」 Varshney 說。
去年 9 月，當 OpenAI 預覽其 o1 推理模型時，推理模型成為熱門話題。與以往只給出答案而不解釋推理過程的人工智能模型不同，它通過將複雜問題分成幾個步驟來解決。推理模型可能需要多花幾秒或幾分鐘來回答問題，因為它們會一步一步或以 「思維鏈 」的方式來反思自己的分析。
強化學習
DeepSeek-R1將思維鏈推理與強化學習相結合，在強化學習中，自主智能體在沒有人類用戶任何指令的情況下，通過反復試錯學會執行任務。強化學習有別於更常用的學習形式，如監督學習和無監督學習，前者使用人工標注的數據進行預測或分類，後者旨在從無標注的數據中發現和學習隱藏的模式。
DeepSeek-R1 質疑了這樣一種假設，即通過對正確或錯誤行為的標記示例進行訓練，或者從隱藏模式中提取信息，模型的推理能力就會得到提高。密歇根州立大學博士生張逸驊撰寫了數十篇機器學習方面的論文，他說：「它的核心假設很簡約，卻不那麼簡單：我們能否只通過獎勵信號來教會模型正確回答，從而讓它自己摸索出最優的思考方式？」
張逸驊說，對於他和像他一樣習慣了傳統監督微調的專家而言，「眼見DeepSeek這樣的大型語言模型僅靠強化學習獎勵就能學會『更好地思考』，著實令人驚艷」，尤其是看到「模型出現真正的『aha(頓悟)時刻』，它能後退一步，發現錯誤並自我糾正」。
成本計算
DeepSeek 引發的熱議部分源於其低廉的價格。根據該公司發佈的技術報告，在聖誕節當天發佈的 DeepSeek-V3 的訓練成本為 550 萬美元，而對於希望試用它的開發人員來說，價格要便宜得多。 IBM傑出工程師Chris Hay說：「他們在模型成本方面所做的工作，以及他們訓練模型所花費的時間，確實令人印象深刻。」
然而，IBM研究院Granite技術產品管理總監Kate Soule表示，低廉的價格標籤可能並不是故事的全部。她說，550 萬美元的成本「只代表了所需計算量的一小部分」。她說，這還不包括公司即使採用開源模型也要保持專有的成本細節，比如 「強化學習、數據消減和超參數搜索的計算成本」。
然而，毋庸置疑的是，DeepSeek 通過使用專家混合（MoE）架構實現了更高的成本效益，而這種架構大大降低了訓練所需的資源。MoE 架構將人工智能模型劃分為不同的子網絡（或 「專家」），每個子網絡專門處理輸入數據的一個子集。模型只激活特定任務所需的特定專家，而不是激活整個神經網絡。因此，MoE 架構大大降低了預訓練期間的計算成本，並在推理期間實現了更快的性能。在過去一年中，包括法國領先的人工智能公司 Mistral 和 IBM 在內的全球多家公司著力推廣了 MoE 架構，並通過將 MoE 與開源相結合實現了更高的效率。（例如，IBM在2024年Think大會宣佈與紅帽一起推出 InstructLab，一個推動大模型開源創新的革命性大模型對齊方法。）
就 IBM 的一系列開源 Granite 模型（採用 MoE 架構開發）而言，企業能夠以極低的成本實現前沿模型的性能，因為他們可以針對特定應用或用例調整大型預訓練模型，從而有效創建更小的適用模型。將強大的功能集成到更小的稠密模型上，意味著這些模型可用於智能手機和其他在邊緣運行的移動設備，如汽車計算機或工廠車間的智能傳感器。
DeepSeek 的成功也得益於這種將大型模型提煉為資源密集度較低的小型模型的過程。在發佈其標誌性的 R1 模型的同時，這家中國初創公司還發佈了一系列更小的適合用途的模型。有趣的是，他們用實踐證明，與一開始就對小型模型進行強化學習相比，將大型模型蒸餾成小型模型的推理效果更好。
全球性的人工智能洗牌？
隨著它們在某些基準測試中與老一代競爭對手相抗衡或超越它們時，這些新的中國模型將如何影響全球人工智能格局？El Maghraoui 說：「全球人工智能格局不僅關乎基準測試的原始性能，更關係到是否能以安全和道德的方式對這些模型進行端到端的整合。」因此，El Maghraoui 表示，現在判斷 DeepSeek-R1 及其他產品是否會「改變人類互動、技術和企業應用」，還為時尚早。
最終，「開發人員的採用率將決定 DeepSeek 模型的受歡迎程度，」 Daniels說。他表示期待「看到他們為模型發掘出的各種用例」。
在IBM 院士 Kush Varshney 看來，全球AI競賽中的地緣政治差異，可能沒有人們想象的那麼重要，他說：「一旦模型開源，它源自何處在很多方面就不再重要了。」
