基於大模型的正樣本異常檢測方案-實現用戶簡單點擊即可將識別為異物的物體定義為正常物體

變電站中存在諸多潛在異常風險，其一是來自外界的不可預測的異物威脅，容易引發短路、電弧甚至火災事故，需要采取措施預防。由於異物未知且采集異物圖像成本非常高，需要算法實現在僅擁有正常圖像樣本的條件下實現對未知異物的檢測。

項目利用大模型檢測並提取場景中物體的特征，並使用特征融合和存儲庫技術讓算法“記住”正常場景，再通過融合特征比對的方式分辨出異常物體。該算法充分發揮了大模型跨模態、預訓練、開放性等眾多優勢，以很小的代價就能完成傳統深度學習算法無法完成的任務。

在算法落地過程中，獲取稀缺圖像一直是一大挑戰。在本項目中，正樣本檢測技術巧妙地避開這一難題，運用先進技術，避免了困難的負樣本采集工作的同時，還具有更好的精度和泛化能力。本項目的正樣本檢測算法不僅能在電力變電行業表現出色，同時也適用於其他工業或生活場景。

變電站作為電力係統的關鍵設施，承擔著輸電、變壓、配電等重要任務，是電力供應的核心節點。然而，由於其特殊的地理位置和功能屬性，變電站存在著諸多潛在的異常風險。其中，最為突出的問題之一是來自外界的不可預測異物的威脅。風箏、塑料袋等物體，一旦進入變電站區域，可能與高壓設備接觸，引發短路、電弧甚至火災等嚴重安全事故，威脅到變電站設備的安全運行和周邊地區的人身財產安全。

這些不可知的異物對變電站的安全穩定造成了潛在威脅，因此需要采取有效的措施來應對。由於異物未知且采集異物圖像成本高，客戶要求僅利用易獲得的正常樣本進行訓練，實現場景中異物的準確檢測，以降低成本並提高效率。

基於大模型的方法與傳統工業視覺檢測的區別：以往的工業視覺檢測大多需要采集大量所需類別的圖像樣本並訓練一個針對性的小模型，這樣的模型容量小，能力有限，也難以運用到已有的海量預訓練數據集的知識。而大模型發展至今，僅預訓練的模型在很多視覺任務的精度上已經碾壓傳統小模型，再經過行業數據微調後可以更加適合於特定的工業視覺檢測任務。

基於大模型的正樣本檢測技術：通過檢測大模型的開放詞彙識別出物體，然後用特征提取大模型的編碼物體的深度特征，結合存儲庫技術，能夠實現在僅見過正常場景圖片的有限條件下，精準檢測出場景中出現的任何未知的異常物體，精度相較於傳統深度學習方法大幅提升。

正樣本在線增量訓練技術：通過對存儲庫和交互方式的設計，並結合大模型的特性，實現用戶簡單點擊即可將識別為異物的物體定義為正常物體。這一技術實現了模型和存儲庫的在線更新，有效解決了模型部署後更新難、反饋慢的問題。

多點位模型通用技術：實際項目中需要部署的點位可達成百上千，本項目利用大模型的通用性和特征存儲庫技術打破了一個點位對應一個模型的限製，實現在不改變主網絡的結構和參數的條件下，快速訓練出各個點位的特征存儲庫，並且能夠在不同點位間快速切換。

樣本生成技術：對圖像生成大模型進行微調訓練後，通過對邊緣、文字提示和正常圖像的結合來實現在變電站圖像中任意位置（許多位置工人難以到達但又容易出現異物）生成任意形態的異物，用於測試算法的能力並進行迭代提升。

實施效果

項目目前已在國家電網某變電站進行了超300個攝像頭點位的部署運行，綜合漏報率低於3%，誤報率低於5%。

正樣本巡視係統采用定時排查和人工下任務兩種方式，全麵檢測所有點位。工作人員在係統中複核告警圖像並清理異物，實現了異常檢測的自動化和智能化。相較於純人工不定期巡視，該係統能全天候定時檢測所有場景，顯著減少人力成本，且算法速度快、資源消耗低。每增加一個點位隻需額外3MB內存和磁盤存儲空間，適用於大規模部署應用。

該項目的應用極大地減少了變電站的潛在異常風險，得到了國家電網上海練塘站領導的一致好評，並已開始向全國範圍內其他變電站推廣。此外，這種正樣本技術不僅局限於變電站場景，還可以應用於其他工業和生活場景。

本方案基於攝像頭等國產硬件感知設備，配合自主研發基於大模型的正樣本檢測關鍵技術，形成整套的解決方案產品；相比於傳統深度學習模型隻能檢測固定類別的異常，本項目靈活使用視覺大模型，可以有效檢測出未知的缺陷種類。本產品最早應用於變電站異常識別領域，可以檢測出變電站中出現的異常現象，有效保障電力穩定安全運行。從經濟的角度為傳統行業提質增效智能化升級、減低人力成本；從社會角度，對各行業的智能巡檢場景實現“機器代人眼”，對釋放數字經濟潛力、形成新的經濟增長點具有重要意義。同時，其應用場景除電力外，仍可覆蓋石油、化工、煙草、園區等需要智能巡視的領域，可提高各個應用場景係統運維工作效率與質量。