人工智能技術特點-大規模人工智能模型

技術發展方麵，隨著謂詞推理、專家係統、知識樹和向量機學習等傳 統技術的發展日趨放緩，促使以聯結主義和概率統計等理論為基礎的深度 學習加速發展，邁入了以人工神經網絡為基礎、以大模型為典型應用的新 發展階段。

在模型方麵，大規模人工智能模型逐步成為業界主流。以生成式人 工智能為例，具備數百億參數的模型已非罕見，並隨著模型規模增長產生 了接近人類的“高級”能力，使人們相信通用人工智能或將到來。 Stable Diffusion 、Midjourney等視覺生成模型具有類似人類的視覺創作能力， ChatGPT等文本生成模型具有高度近似人類的語言推理和規劃等能力。有 研究認為，這些能力是隨著模型參數達到數百億級別後逐漸產生的，雖其技術原理尚未明晰，但進一步推動了模型越來越大的技術趨勢。

在訓練方麵，有人類參與的指令微調技術是近年來人工智能的另一 大技術特點。指令微調主要有三種實現形式，以預訓練語言模型為例：一 是引入人工撰寫的大量對話數據對模型進行微調訓練；二是人工對微調後 模型麵向同一提示詞生成的多個備選答案進行價值排序，訓練價值評分模 型；三是在價值評分模型的獎勵信號下，微調模型進行強化學習訓練，不 斷改進模型的表現。通過該部分技術，可將在海量語料庫上訓練的模型與 複雜的人類價值觀實現對齊，期望人工智能可以生成正確、有用、無害的 內容。