在人工智慧領域取得又一突破性進展的9月12日，OpenAI官方隆重推出了其最新力作——模型o1。這款模型的最大亮點在於，它融合了強化學習(RL)的訓練方法，並在模型推理過程中采用了更為深入的內部思維鏈(chain of thought，簡稱CoT)技術。這一創新性的結合，使得o1在物理、化學、數學等需要強大邏輯推理能力的學科領域內，實作了效能的顯著提升。
OpenAI的這一成果，無疑為人工智慧領域樹立了新的標桿。RL+CoT的範式，不僅在效果上顯著增強了模型的強邏輯推理能力，更為後續國內外大模型廠商的研發方向提供了新的思路。可以預見，在未來的日子裏，沿著RL+CoT這一新路線，各大廠商將持續叠代模型，推動人工智慧技術邁向新的高度。
重心由預訓練轉移到後訓練和推理
2020年，OpenAI提出的Scaling Law為大模型的叠代奠定了重要的理論基礎。在o1模型釋出之前，Scaling Law主要聚焦於預訓練階段，透過增加模型的參數數量、擴大訓練數據集以及提升算力，來增強模型的智慧表現。然而，隨著o1模型的推出，OpenAI揭示了在預訓練Scaling Law的基礎上，透過在後訓練階段引入強化學習(RL)並在推理過程中增加長內部思維鏈(CoT，意味著更多的計算步驟)，同樣能夠顯著提升模型的效能。這表明，Scaling Law不僅適用於預訓練階段，還能在大模型的後訓練和推理階段持續發揮作用。
具體來說，o1模型在編程、數學和科學領域的能力都得到了大幅提升。在Codeforces編程競賽中，o1模型的表現超過了83%的專業人員；在數學競賽方面，以AIME 2024為例，GPT-4o平均只能解決12%的問題，而o1模型平均能解決74%的問題，若采用64個樣本的共識，解決率更是能達到83%；在科學能力方面，對於博士級的科學問題(GPQA Diamond)，GPT-4o的精確度為56.1%，人類專家水平為69.7%，而o1模型則達到了78%，超越了人類專家的能力。
o1模型的問世，為下一步大模型的訓練和叠代提供了新的參考範式——即RL+CoT。從定性角度看，RL+CoT需要更多的訓練和推理算力。在o1模型之前，如GPT-4o等模型主要經歷了預訓練和後訓練(基於人類反饋的強化學習RLHF)兩個階段，推理則采用單次推理或短CoT。然而，o1模型在預訓練階段的算力變化可能並不大，主要目的是保證模型具有較好的通用能力。在後訓練階段，由於采用了RL，模型需要透過不斷搜尋的方式來叠代最佳化輸出結果，因此算力消耗有望上升。在推理階段，o1模型在RL訓練下學會了內部長CoT，推理所需的token數量明顯增長，因此推理算力相比之前的單次推理或短CoT也顯著上升。
綜上所述，在新的大模型訓練範式下，從定性角度看，模型需要更多的訓練和推理算力來支持其效能的提升。
算力和套用端或值得關註
目前升級版的AI大模型主要聚焦於強化邏輯推理能力，透過實作完整的分步驟推理過程，可以顯著提升回復的邏輯性和條理性。這一升級預示著Agent Network的初步框架即將形成，對於那些需要更嚴密邏輯處理的B端使用者，有望率先從中受益。同時，隨著系統對復雜實際環境中邊緣場景的處理能力得到增強，其套用範圍和效果也將得到進一步提升。
華泰證券分析指出，RL+CoT的訓練範式不僅延續了預訓練階段的Scaling Law，還進一步將其擴充套件到了後訓練和推理階段。在預訓練算力保持相對穩定的情況下，RL後訓練和CoT推理將催生新的算力需求。這些需求的具體規模將取決於RL搜尋的深度、CoT的內在長度以及推理效果之間的平衡。由於RL+CoT實際上為行業內的其他模型開發商設定了下一代模型叠代的基本框架，預計這一範式將被廣泛采納，從而帶動訓練算力需求的顯著提升。在此背景下，建議投資者關註與算力相關的企業，如博通、滬電股份、工業富聯等。
此外，盡管o1模型目前主要解決的是數學、程式碼和科學領域的推理問題，但其核心在於構建模型的CoT能力。CoT作為推理的重要手段，有望在端側結合使用者的更多私有數據進行套用。蘋果AI Agent被視為實作CoT能力的理想計算平台。因此，建議投資者關註與蘋果產業鏈相關的企業，包括立訊精密、鵬鼎控股、水晶光電、歌爾股份、藍思科技、東山精密、長電科技等。
最後，o1模型展現出的強邏輯推理能力有望擴充套件到更廣泛和通用的領域，並且在推理效能上相較於前代模型有顯著提升。這意味著基於o1及後續大模型的AI套用和Agent有望在能力上實作本質性的超越。因此，建議投資者關註核心的AI套用企業，如微軟、奧多比、金山辦公、泛微網路、螢石網路等。
