新聞

小米推出 MiMo-7B 模型推理能力超越 o1-mini？

· 2025年12月19日

小米 LLM-Core 團隊近日發佈了一份學術論文，介紹了名為 MiMo-7B 的大語言模型。該模型專為推理任務設計，在預訓練和後訓練階段均進行了深度優化，展現出在數學、編程和通用推理任務上的強大性能表現。

預訓練階段的創新策略

MiMo-7B 的預訓練過程採用了多項前沿技術。模型在 25 萬億個 token 上進行預訓練，這代表著一個龐大的語言學習基礎。在數據處理方面，小米團隊增強了數據預處理流程，並採用了三階段數據混合策略，旨在強化基礎模型的推理潛力。

值得注意的是，MiMo-7B 引入了多 token 預測（Multi-Token Prediction）目標函數。這一設計不僅增強了模型性能，同時還加速了推理速度，在實際應用中能夠提供更快的響應能力。多 token 預測允許模型同時預測多個後續 token，這種方式被證明能夠改善語言模型的理解和生成能力。

後訓練階段的精細化設計

在後訓練階段，小米團隊展現出了細緻的工程化思維。他們精心策劃了包含 13 萬條可驗證的數學和編程問題的數據集，用於強化學習。這個規模龐大的高質量數據集為模型提供了豐富的學習材料。

在獎勵機制設計上，團隊採用了測試難度驅動的代碼獎勵方案。這種方法的核心在於根據問題的難度級別動態調整獎勵信號，有效解決了在稀疏獎勵場景下的訓練不穩定問題。此外，團隊還實施了戰略性數據重採樣技術，進一步穩定了強化學習過程，確保模型訓練的收斂性和最終性能。

性能表現的突破性成就

MiMo-7B 在評測中展現出令人印象深刻的性能。基礎版本 MiMo-7B-Base 的推理能力甚至超越了規模更大的 32B 模型，這說明在模型設計和訓練策略上的優化能夠有效彌補參數規模的差距。經過強化學習微調後的最終版本 MiMo-7B-RL，在數學、編程和通用推理任務上均達到了優異的成績，其性能表現超越了 OpenAI o1-mini。

o1-mini 是 OpenAI 針對推理任務優化的輕量級模型，在行業內具有重要的參考意義。MiMo-7B-RL 能夠超越其性能，意味著小米在推理優化領域已經達到了國際先進水準。這對於開源模型社區而言具有重要意義，表明通過合理的架構設計和訓練策略，中等規模的模型也能實現超越更大模型的性能。

技術創新的深層意義

MiMo-7B 的成功反映了在大語言模型領域，優化的訓練策略往往比單純增加模型規模更為有效。傳統觀點認為更大的模型必然具有更強的能力，但小米的實踐證明，通過精心設計的預訓練流程、高質量的後訓練數據集和創新的獎勵機制，相對較小的模型也能達到甚至超越更大模型的性能水準。

多 token 預測技術的應用代表了對模型預訓練目標函數的重新思考。傳統的單 token 預測要求模型逐個預測下一個 token，而多 token 預測則要求模型同時預測多個後續 token。這種設計方式迫使模型更深層次地理解語言結構和邏輯關係，進而增強了其推理能力。

測試難度驅動的代碼獎勵方案則體現了對強化學習細節的深度掌握。在傳統的強化學習中，獎勵信號往往過於稀疏，導致模型難以有效學習。通過根據問題難度動態調整獎勵，模型能夠獲得更細粒度的學習信號，使其在面對難度不同的推理任務時都能保持良好的學習效率。

開源貢獻與應用前景

小米團隊選擇開放 MiMo-7B 的模型檢查點，這一決定對於開源社區具有重要價值。開源模型的發佈使得研究人員和開發者能夠直接使用和改進這一高性能的推理模型，促進了整個領域的技術進步。

在實際應用場景中，MiMo-7B 的優勢尤為明顯。對於需要進行複雜推理、解決數學問題或編寫代碼的應用，該模型能夠提供可靠的性能。相比需要更多計算資源的大型模型，MiMo-7B 在保持高性能的同時也降低了部署成本，使得推理能力強大的 AI 應用能夠更廣泛地被使用。

行業意義與發展方向

MiMo-7B 的發佈反映了當前大語言模型領域的一個重要趨勢：在保持或增強性能的前提下，通過優化訓練方法來提高效率。隨著 AI 應用的普及，模型的效率和可部署性變得越來越重要。能夠在較小的模型上實現強大的推理能力，意味著企業和機構能夠以更低的成本實現高質量的 AI 應用。

小米在這一領域的探索也說明了中國科技企業在基礎模型研發上的進展。通過結合深厚的工程實踐和創新的學術研究，國內團隊正在縮小與國際領先企業的技術差距，並在某些領域實現領先。MiMo-7B 超越 o1-mini 的成績正是這一進展的具體體現。

展望未來，推理能力的優化將繼續是大語言模型研發的重點方向。隨著新的訓練技術、獎勵機制和數據策略的不斷開發和完善，我們有理由相信，越來越多的輕量級模型將能夠達到甚至超越當前重量級模型的性能，推動整個 AI 領域朝著更高效、更實用的方向發展。

參考來源：https://arxiv.org/abs/2505.07608

最新電競新聞

You may also like...