113年度GIS專題中心暑期實習生成果介紹（4）

專題題目：自適應河川異常檢測系統：結合運動學分析、影像處理與深度學習

實習學生：徐英豈 (元智大學資訊工程學系)

指導老師：陳伶志 研究員

1. 研究動機

隨著臺灣都市化和工業化的加速，河流污染問題日益嚴重，對生態系統和公共健康構成重大威脅。本研究旨在應對現有河川監控系統的不足，開發一種自適應異常檢測算法，能在暴雨及平穩情況下有效識別河流異常事件。提出了一種結合運動學分析與異常檢測的創新方法，能夠在不依賴本地資料訓練的情況下，準確檢測河川漂流物及人員異常，從而更全面地保護環境和公共安全。

2. 研究方法

本研究設計了自適應背景減除法 (Adaptive Background Subtraction)，該方法根據前景的混亂程度動態選擇合適的參數，以有效提取影像中的前景物體。並透過異常分數計算機制來識別真正的異常。此方法使用了 MOG2 (Mixture of Gaussian) 模型，並考慮了 history 和 varThreshold 兩個參數。 接著，分析前景異常物件與環境的運動模式，利用 3D 時空訊息和影像特徵來探討異常發生的原因。 此研究還使用了以下方法和技術：

• SORT (Simple Online and Realtime Tracking): 用於追蹤檢測到的物體。

• YOLOv9: 用於人員檢測。

• ViT (Vision Transformer) 模型: 用於分類。

• 光流分析: 分析框選物件與環境的關係。

• 計算 Combined Similarity: 使用 Average Cosine Similarity 和 Average Magnitude Difference 來判斷異常. 計算公式為：combined_similarity = 0.5 * avg_cosine_similarity + 0.5 * (1 – avg_magnitude_diff)。當 combined_similarity < 0.5 時，判斷為鳥類；>= 0.5 時，判斷為其他異常。

• 動態 Area Threshold: 使用動態調整的 area threshold 來判斷異常。

• SIFT (Scale-Invariant Feature Transform): 用於影像特徵提取。

3. 研究結果

根據實驗結果，本研究所提出的自適應 MOG2 方法能在不同環境下有效提取真實異常，並成功結合運動學分析和 SORT 技術，實現對漂流物的檢測與追蹤，並且能精確地偵測人類進入畫面。

客觀的評估數據如下：

a.異常事件分類:

◦ 人員: 使用 YOLOv9 進行人員檢測，測試 21 筆資料，達到 100% 的準確度和召回率。

◦ 鳥類: 測試 99 筆資料，準確度達到 90%，召回率達到 100%。

◦ 其他異常事件: 共 158 個，包含：

▪ 影像損壞：90 個。
▪ 河流垃圾：49 個。
▪ 其他：19 個。
▪ 並針對影像損壞事件，以不同類別進行細分。

b.相似度分析：

◦一般物體: 平均餘弦相似度為 0.74，平均幅度差為 0.19，綜合相似度為 0.77。

◦鳥類: 平均餘弦相似度為 -0.00，平均幅度差為 0.87，綜合相似度為 0.06。

c.效能:

使用 4x 影像大小在 4080 顯卡上處理時間為 3.5 秒，2x 影像大小處理時間為 3.5 秒。

4.未來研究展望

•加入水位高度特徵。
•改進模型泛化能力。
•在 Edge AI 平台上部署模型。
•改進光影突變的處理。
•使用 Super Resolution 技術提升影像解析度。
•使用 ViT 模型進行分類。
•針對類似鳥類行為的物體（如樹葉），除了運動特徵外，還會加入影像分類。

結論

本研究結果證明，所提出的自適應MOG2方法能在不同環境下有效提取真實異常，並成功結合運動學分析和SORT技術，實現對漂流物的檢測與追蹤，並且能精確地偵測人類。之後將繼續開發「河流異常檢測」網站（連結）。