作為一種自適應步長隨機梯度優化器,自2014年提出以來,Adam 算法便以其卓越的性能風靡深度學習領域。為了提高應用於訓練大規模任務時的效率,該算法通常與同步隨機梯度(Synchronous Stochastic Gradient,SSG)技術相結合,采用數據並行(data parallel)的方式在多台機器上執行。在本文中,我們稱這一方法為 Sync-Adam。
本質上來講,Sync-Adam 通過將一個 minibatch 內樣本的梯度計算分布到多台機器上達到加速目的,因此通信十分頻繁,並且隨著並行機器數目增多,minibatch 內樣本的數量也成比例增加,這種情況下,通常會損害最終得到的模型的性能。為解決基於 SSG 的 Adam 算法可擴展性差的難題,我們把目光投向了逐區塊模型更新濾波(Blockwise Model-Update Filtering, BMUF)框架。
BMUF 是一種通信高效的通用分布式優化算法框架,於2016年由微軟亞洲研究院語音組的研究人員提出並發表。該算法在多個並行工作機之間周期性同步模型更新信息,並與曆史更新信息相結合提升全局模型性能。與基於 SSG 的算法相比,BMUF 具有通信頻率較低、訓練幾乎線性加速、模型性能基本無損的特點。這一算法已經在工業界廣泛用於大規模深度學習模型的訓練。
本文中,我們采用 BMUF 框架並行化 Adam 算法,並在微軟大規模 OCR 和語音產品數據集上進行了測試。實驗結果表明,在大規模 OCR 任務中,BMUF-Adam 在多達64機的並行訓練中幾乎實現了線性加速的同時,基本沒有模型性能損失,在32機大詞彙量連續語音識別任務中也獲得了類似效果。
接下來我們探討如何采用 BMUF 框架賦能 Adam 算法,在大規模深度學習任務上成就不凡。
在基於 BMUF 的訓練框架下,假設我們總共有 N 個並行工作機,一個工作機可以是一塊或多塊 GPU 卡,也可以是一個計算節點。給定一個包含 Nτ 個 minibatch 的訓練數據子集,首先我們將這些數據均勻分布到 N 個並行工作機,每台工作機獲得 τ 個 minibatch。從一個共同的初始模型 θ_(t-τ)^((init)) 開始,N 個工作機獨立更新各自的局部模型 τ 步,得到 {θ_(t,1),θ_(t,2),…,θ_(t,N)},對局部模型取平均得到 θ ̅_t。這一過程稱之為數據塊內並行優化(Intra-Block Parallel Optimization, IBPO)。與直接將 θ ̅_t 作為全局模型不同,BMUF 技術將曆史更新信息與當前更新信息結合,得到全局模型:
|
|
資料獲取 | |
新聞資訊 | |
== 資訊 == | |
» 國標《智慧城市 智慧多功能杆 服務功能與 | |
» 人工智能之數據挖掘2020年第9期 | |
» 噴霧消毒殺菌機器人 | |
» 中國通信學會發布《全球人工智能基礎設施戰 | |
» 創澤集團受邀參加工信部 AI 精準賦能中 | |
» 人工智能案例 依圖科技:不斷崛起的AI | |
» 2020年麵向人工智能新基建的知識圖譜行 | |
» 破解AI工程化難題,AI中台助力企業智能 | |
» 淺析我國消防機器人發展現狀與趨勢 | 山 | |
» 【華為出品】智能體白皮書2020 | |
» “先行示範•智贏未來” 創澤 | |
» 創澤集團牽頭起草的全國首個《應用於滅菌消 | |
» 創澤集團智能機器人新品發布會!多款自主研 | |
» 人工智能人才發展報告:亞太地區創新與招聘 | |
» 創澤集團智能機器人“創創”受邀參加進博會 | |
== 機器人推薦 == | |
服務機器人(迎賓、講解、導診...) |
|
智能消毒機器人 |
|
安防巡檢機器人 |
|
人工智能垃圾站 |
|
== 信息推薦 == | |
|
機器人招商 Disinfection Robot 消毒機器人公司 機器人應用 智能垃圾站 消毒機器人價格 消毒機器人廠家 機器人政策 教育機器人 迎賓機器人 機器人開發 清潔機器人 消毒機器人 講解機器人 安防巡檢機器人 霧化消毒機器人 紫外線消毒機器人 地圖 |