不完美場景下的神經網絡訓練方法

近幾年，騰訊優圖不斷迭代數據和模型缺陷情況下神經網絡的有效訓練方法，相關技術已經在眾多業務場景上（行人重識別，內容審核等）落地。本文整理自騰訊優圖、騰訊雲大學、AICUG和AI科技評論聯合主辦的「優Tech沙龍」，分享嘉賓為騰訊優圖實驗室高級研究員Louis。

01 定義帶噪學習目標

現實數據中存在的標簽噪音（label noise）根據Feature可以分成兩種：Feature independent noise和 Feature dependent noise。Feature independent noise是與特征無關的，比如將一隻狗的圖片誤標記成汽車，狗和汽車沒有什麼相似特征，所以屬於這類。Feature independent noise是與特征有關的，比如說狗和狼具有很多相似特征屬性，標注人員可能把狗誤標記成狼，那就屬於這類。其實現實場景更多存在都是feature dependent noise。

噪音普遍存在，所以我們需要訓練神經網絡進行帶噪學習，並且要能實現比較好的性能。那麼noise label learning的目標是設計一個loss function，使得在noisy labels下訓練得到的解，在性能上接近在clean labels下訓練得到的解。