人工智能浪潮席卷全球，正以前所未有的速度、廣度和深度改 變生產生活方式。世界主要國家紛紛將推進人工智能技術創(chuàng)新與應 用作為國家戰(zhàn)略的重要方向，我國高度重視人工智能在培育新質生 產力、塑造新動能方面的重要作用。當前，人工智能正處于邁向通用 智能的初始階段，并成為推動經濟社會持續(xù)發(fā)展的關鍵動力。

以Transformer架構為基礎的大模型不斷取得新突破，在大數(shù)據(jù)、 大算力加持下，逐漸實現(xiàn)從單任務智能到可擴展、多任務智能的跨 越。這一關鍵突破，標志著人工智能技術發(fā)展走向新范式。以大模型為代表的人工智能技術展現(xiàn)出了類人智能的“涌現(xiàn)”能力，呈現(xiàn)規(guī)模可擴展、多任務適應及能力可塑三大特征。

一是規(guī)模可擴展。 模型的規(guī)模可擴展性不僅體現(xiàn)在參數(shù)的擴大，更依賴高質量數(shù)據(jù)集 的供給以及大規(guī)模算力集群能力的增強。當前在模型參數(shù)保持不變 的情況下，提高數(shù)據(jù)質量、擴大數(shù)據(jù)集規(guī)模或提升算力規(guī)模水平，都能夠顯著增強模型的復雜性和處理能力。

二是多任務適應。大模型支持多任務多模態(tài)能力持續(xù)增強，可執(zhí)行任務已經從文本對話拓 展到多模態(tài)理解、多模態(tài)生成等場景。

三是能力可塑。通用大模型 在訓練階段通過結合增量預訓練、有監(jiān)督微調、知識圖譜等方法， 實現(xiàn)將專業(yè)數(shù)據(jù)和知識注入模型中，提升大模型在專業(yè)領域的應用 能力；在推理階段，通過引入檢索增強生成、提示詞工程和智能體 等技術，將更豐富的上下文信息和專業(yè)知識引入模型推理過程，解 決更復雜的推理任務，優(yōu)化模型表現(xiàn)。

具體從大模型算法演進態(tài)勢看，深挖現(xiàn)有體系架構潛力，以實 現(xiàn)理解推理能力和訓練效率倍增仍是當前發(fā)展主線。模型研發(fā)主體 紛紛圍繞算法理論融合（如 Transformer 架構與其他路線結合）和模 型改造（如擴大上下文窗口、思維鏈復雜推理、優(yōu)化注意力模塊、 網絡架構稀疏化、多模態(tài)特征對齊與統(tǒng)一理解等）展開創(chuàng)新升級， 從而提高模型性能表現(xiàn)。近期 OpenAI o1 模型通過模仿人腦思考的 思維過程，顯著提升數(shù)學、物理、編程等復雜任務的性能水平。與 此同時，非 Transformer 模型的底層算法也在不斷創(chuàng)新。例如，基于 圖神經網絡的 GraphCast、GNoME 在氣象和材料領域已取得重大突 破，基于物理約束的 PINN 網絡、基于算子學習的 DeepONet 和基于 傅里葉變換的 FNO 網絡已成為求解偏微分方程（PDEs）的重要手段。