利用時序信息提升遮擋行人檢測準確度

行人檢測作為計算機視覺領域最基本的主題之一，多年來被廣泛研究。盡管最先進的行人檢測器已在無遮擋行人上取得了超過 90% 的準確率，但在嚴重遮擋行人檢測上依然無法達到滿意的效果。究其根源，主要存在以下兩個難點：

嚴重遮擋的行人框大部分為背景，檢測器難以將其與背景類別區分；

給定一個遮擋行人框，檢測器無法得到可見區域的信息；

Tube Feature Aggregation Network（TFAN）新方法，即利用時序信息來輔助當前幀的遮擋行人檢測，目前該方法已在 Caltech 和 NightOwls 兩個數據集取得了業界領先的準確率。

核心思路

利用時序信息輔助當前幀遮擋行人檢測

目前大部分行人檢測工作都集中於靜態圖像檢測，但在實際車路環境中大部分目標都處於運動狀態。針對嚴重遮擋行人的複雜場景，單幀圖像難以提供足夠有效的信息。為了優化遮擋場景下行人的識別，地平線團隊提出通過相鄰幀尋找無遮擋或少遮擋目標，對當前圖像中的遮擋行人識別進行輔助檢測。

實驗新方法

Proposal tube 解決嚴重遮擋行人檢測

如下圖，給定一個視頻序列，首先對每幀圖像提取特征並使用 RPN（Region Proposal Network）網絡生成 proposal 框。從當前幀的某個 proposal 框出發，依次在相鄰幀的空間鄰域內尋找最相似的proposal框並連接成 proposal tube。

查看更多相似文章