基於邊緣計算的新型視頻監控系統展望
作者：施巍松，孫輝，陳彥明
摘要：面向公共安全領域內的視頻監控系統主要應對違法犯罪及社會管理等公共安全問題。傳統視頻監控系統具有前端攝像機內置計算資源較少、數據量較大、傳輸帶寬延遲較高、目標跟蹤效率較低等不足，為此，需構建基於邊緣計算的新型視頻監控系統的軟硬體服務平台。本文主要從針對視頻監控的邊緣計算系統、基於邊緣計算的視頻監控系統協同處理、基於邊緣計算的攝像機網路目標跟蹤以及基於邊緣計算的突發事件處理等方面來介紹邊緣計算在視頻監控系統中的應用及其優勢。
1 背景介紹視頻監控系統主要用於視頻處理、目標查詢和人員跟蹤等方面，並逐漸成為城市公共安全的重要保證。基於傳統視頻監控系統前端攝像機所採集的視頻解析度較高，視頻數據量較大，現有智能監控系統的視頻處理能力不足，傳統雲模式視頻監控系統的計算和傳輸帶寬負載較重。現有攝像機存在計算能力以及上傳數據的時延和帶寬等不足，造成目標信息檢測漏檢較大和檢測效率低效等問題。此外，視覺目標跟蹤通常是對攝取的圖像或視頻進行分析計算，識別與跟蹤場景中的目標，如何構建基於邊緣計算的多攝像機組成的攝像機網路，以實現監控範圍大、全方位的監控系統，克服單攝像機容易受到複雜背景、光照變化等局限，成為監控系統的研究熱點之一。邊緣計算指從數據源到雲計算中心數據路徑之間的任意計算資源和網路資源，實現數據的就近處理方式。邊緣計算的基本理念是將計算任務在接近本地數據源的計算資源上運行 [1]。邊緣計算可以實現對視頻數據傳輸流過程中的本地化處理，為視頻監控系統帶來低時延和高效資源利用性等優點，可以很好地用來解決現有視頻監控系統所遇到的技術挑戰和問題。基於邊緣計算的新型視頻監控系統較好地滿足了這些公共安全方面視頻數據處理實時性、完整性等需求。
本文主要闡述面向視頻監控的邊緣計算系統，本文提出邊緣計算在視頻監控系統中的應用及其優勢，從面向視頻監控的邊緣計算系統、基於邊緣計算的新型視頻監控系統協同處理、基於邊緣計算的攝像機網路目標跟蹤以及基於邊緣計算的突發事件處理等方面來介紹。2 面向視頻監控邊緣計算系統2.1 現有方法的問題隨著城市規模擴大所帶來的公共安全問題[2、3]越來越受到重視。傳統城市安全視頻監控系統[4]前端攝像機內置計算能力較低，以邊緣計算和萬物互聯技術為基礎的新型視頻監控系統是未來發展趨勢。2.2 智能邊緣視頻終端解決方案針對海量視頻數據，雲計算中心伺服器計算能力有限[5、6]，為此：（1）構建基於邊緣計算的視頻預處理技術，去除視頻圖像冗餘信息，使得部分或全部視頻分析遷移到邊緣處，由此降低對雲中心的計算、存儲和網路帶寬需求，提高視頻圖像分析的效率；（2）構建基於行為感知的邊緣預處理功能，實現視頻數據彈性存儲。根據行為特徵決策功能，實時調整視頻數據，既減少無效視頻的存儲，降低存儲空間，又最大化存儲「事中」證據類視頻數據，提高視頻數據存儲空間利用率。如圖1所示，利用邊緣計算模型，將具有計算能力的硬體單元集成到原有的視頻監控系統軟硬體平台上，實現具有邊緣計算能力的新型視頻監控系統。在邊緣計算模型中，計算通常發生在數據源的附近，即在視頻數據採集的邊緣端進行視頻數據的處理。一方面，基於智能演算法的預處理功能模塊，執行模糊計算，對實時採集的視頻數據執行部分或全部計算任務，這能夠為實時性要求較高的應用請求提供及時的應答服務，Sun等人[7]提出基於邊緣計算的視頻監控系統內容可用性研究，內容的可用性包括靜態故障及動態內容兩個方面；另一方面，需要設計具有可伸縮的彈性存儲功能模塊，利用智能演算法感知監控場景內行為變化，實現較高的空間存儲效率。
圖1 基於邊緣計算視頻監控系統框圖
3 基於邊緣計算的視頻監控系統協同處理3.1 現有方法的問題在目前的視頻監控系統中，絕大多數攝像機並不具備車輛識別功能，通常只根據少量從高速公路等關鍵路口採集的車輛信息，來初步判斷車輛的路過時間，並以此為起始點，人工搜索周邊攝像機，該方法追蹤效率低下且無法達到實時跟蹤。此外，同時追蹤多路的視頻流，會加劇網路的負擔，導致延遲和丟包[8]。3.2 安珀警報助手（A3）解決方案邊緣計算將計算推至靠近數據本地端，進而降低了數據傳輸和帶寬[1]。隨著一些車輛識別演算法的成熟[9、10]，使用普通攝像機的數據對車輛進行實時的跟蹤，成為一種可能。如目前公共交通車輛[11]（如出租攝像機，家用車輛的行車記錄儀）。Zhang[12]等人因此提出了一種利用攝像機周邊的邊緣計算設備，安珀警報助手（A3）來實時追蹤車輛。利用靜態和移動攝像機周邊的邊緣設備，安珀警報助手對攝像機的視頻數據進行分析，實時跟蹤特定車輛的應用。同時，該應用還可以自定義跟蹤策略，以優化參與追蹤的節點數量，提升系統效率。圖2是A3的系統結構圖。整個系統主要基於煙花模型編程框架[13]，根據功能將系統分為三種角色——任務發布者、任務接收者和數據處理節點，其中任務發布者供警察使用以提供追蹤任務的管理，任務接收者用於接受任務、擴散任務、獲取視頻流以及部分任務處理，而數據處理節點為一群和任務接收者相近的純計算節點。實驗證明A3系統具有較好的易部署性、高效性和追蹤實時性。
圖2 安珀警報助Static Camera手（A3）系統結構圖
4 基於邊緣計算下攝像機網路目標跟蹤4.1 現有方法的問題視覺目標跟蹤是計算機視覺領域的一個重要分支，其主要任務是通過對攝取的圖像或視頻進行分析計算，達到對場景中的目標進行識別與跟蹤的目的。基於多個攝像機 [14]組成的攝像機網路在擴大監控範圍的同時也產生了海量視頻數據，給視頻的傳輸、存儲以及實時目標跟蹤應用，帶來了極大挑戰。若將視頻都上傳雲中心，雲中心將面臨數據洪流的挑戰 [15]。需就近對視頻進行處理，而現有攝像機端計算資源不足。因此，需針對大規模攝像機網路，以降低通信負載、計算負擔和提高演算法實時性為目標，提出適合大規模環境下目標跟蹤的方案。4.2 目標跟蹤解決方案及實現近來，邊緣計算模型為該類問題的解決提供了新的思路[1]，將數據處理本地化，有利於解決較高傳輸代價、帶寬需求以及較長的響應延遲，解決目前大規模實時跟蹤中的短板。如，當選擇尋找或跟蹤一個目標P，其初始位置可以通過常規的監控信息得到（如報警信息），記為(Px, Py)。為了能實時不間斷地進行目標跟蹤，需要協調周圍其他攝像機參與跟蹤，故以(Px, Py)為中心，半徑為R的區域內所有攝像機組成攝像機網路。由於控制中心與目標P之間存在傳輸和計算延遲，因此用RP作為補償半徑。值得注意的是，RP的值與目標P的運動速度成正比。 如果服務延遲越小，R P的值就越小，因此有必要將計算前置。在時刻k，形成的緊急監控區域內，會涉及NC(k)個攝像機組成的網路，如圖3所示。
圖3 基於邊緣計算的攝像機網路拓撲以及邊緣節點框圖如圖3中的攝像機，在採集端增加視頻處理的硬體單元，對採集到的視頻信息進行複製，然後進行預處理（比如目標檢測），這部分工作使用目前已有演算法進行此項工作[16]。在得到目標位置後，攝像機將有用的信息傳輸給其鄰居節點，同時接收鄰居節點發送過來的信息，該節點將對接收到的信息和自身測得信息進行信息融合，從而提取有用信息，再將融合後的信息發送給鄰居節點。在相鄰時刻內完成多次類似的信息傳輸，就可以使得整個網路信息達到一致[17]。因此，可以融合各個攝像機的信息用分散式的方式實現全局信息共享。最後使用狀態估計演算法[18]組成魯棒的目標跟蹤系統。
5 基於邊緣計算的突發事件處理
5.1 現有方法的問題像Uber和滴滴打車等共享出行工具服務已經受到大眾歡迎，並在日常生活中得到普遍應用。如何能有效保障旅客和司機的安全仍然是安全出行所遇到挑戰。共享汽車上主要存在兩種人身攻擊[19]，司機被乘客攻擊或乘客被司機襲擊。為解決安全問題，滴滴公司採用臉部識別、行程共享、SOS呼叫等手段為行車駕駛提供安全保障[20]。現有主要的安全狀態判斷和檢測方案是在駕駛端採集[21]，在雲端判斷和檢測，然後將判斷結果反饋給駕駛終端，但其實時性較差，在大規模車載設備中，其運行環境較不穩定[22]、傳輸帶寬的延遲較大、不利於實時處理突發事件。為此，Liu[19]等人提出了一種基於邊緣計算方法的共享出行服務的實時攻擊檢測框架SafeShareRide，該框架可以檢測危險事件的發生，而且檢測效率實現了近乎實時性的效果。SafeShareRide主要由三個階段組成，語音識別檢測、駕駛行為檢測和視頻採集與分析。這三種階段所採用的演算法是基於開源的演算法架構，測試實驗證明了SafeShareRide具有較好的適用性。5.2 突發事件處理方案及實現
總之，通過三個階段的安全性檢測，SafeShareRide可提供準確性較高、視頻傳輸帶寬需求較低的高精準突發事件檢測服務。
6 總結視頻監控系統在公共安全領域的應用越來越受到重視，基於邊緣計算的新型視頻監控系統為視頻數據處理增加了更高的計算能力、更低的傳輸延遲以及更精準的處理能力。隨著邊緣計算系統架構的發展和定製化功能的完善，邊緣計算能夠更好地推動新型視頻監控系統在公共安全領域更好地應用。基金項目：安徽省重點研究與開發計劃項目（1704d0802193）；國家自然科學基金（61802001）；安徽大學2016年博士啟動經費項目（J01003214）作者簡介：施巍松（1974-），IEEE Fellow，美國韋恩州立大學計算機科學系教授，博士生導師，移動與互聯網系統結構實驗室主任，Intel Internet of Things 創新實驗室主任。2013至2015年間任美國國家科學基金會(NSF)項目主任。全國百篇優秀博士論文獲得者, 美國國家科學基金會傑出青年教授獎獲得者（NSF CAREER Award)。施巍松教授的研究興趣包括計算機系統, 邊緣計算和可持續計算，在分散式共享存儲系統，移動互聯網計算和高效能系統結構等領域取得多項重要研究成果。他是邊緣計算這一研究領域的早期提出者之一和倡導者, 並長期致力於邊緣計算在工業界的推廣，是ACM/IEEE 國際邊緣計算大會（SEC）的創始人。孫 輝（1983-），博士，講師，安徽大學先進計算機系統研究所所長助理。研究興趣主要包括計算機系統、邊緣計算、基於GPGPU高性能數據處理、面向非易失介質新型存儲系統。目前主持國家自然科學基金、安徽省自然科學基金、安徽省科技攻關項目、安徽省高校自然科學基金重點項目等8項。在IEEE Transaction on Computer, SEC, MASCOTS, IGSC等期刊或會議上發表文章近10篇。陳彥明，博士，安徽大學計算機科學與技術學院講師。研究興趣主要包括邊緣計算、感測器網路、一致性演算法。已發表論文10餘篇，並公開專利6項，IEEE Sensors Journal、IET Radar, Sonar & Navigation等SCI期刊審稿人。參考文獻：[1] 施巍松, 孫輝, 曹傑, 張權, 劉偉. 邊緣計算：萬物互聯時代新型計算模型[J] 計算機研究與發展, 2017, 54 (5) : 907 - 924.[2]R.ty T D. Survey on Contemporary Remote Surveillance Systems for Public Safety[J]. IEEE Transactions on Systems Man & Cybernetics Part C, 2010, 40 (5) : 493 - 515.
[3]Kumbhar A, Koohifar F, Guvenc I, et al. A Survey on Legacy and Emerging Technologies for Public SafetyCommunications[J]. IEEE Communications Surveys & Tutorials, 2017, PP (99) : 1-1.[4]Sergeant R G, Corbin S A, Jones T L, et al. Video surveillance system: US, US5517236[P]. 1996.[5]Osuna A. IBM System Storage N series and Digital Video Surveillance[J]. Advanced Materials Research, 2010, 953 -954 : 1113 - 1116. [6]J. Gantz and D. Reinsel. The digital universe in 2020: Big data, bigger digital shadows, and biggest growth in the fareast[R]. International Data Corporation, 2012.[7]SunH,LiangX,ShiW. VU:videousefulnessanditsapplicationinlarge-scalevideosurveillancesystems:anearlyexperience[C] // SmartIoT Workshop. 2017.[8]Botta A, De Donato W, Persico V, et al. Integration of cloud computing and internet of things: a survey[J]. Future Generation Computer Systems, 2016, 56 : 684 - 700.[9]openalpr[EB/OL]. https: // http://github.com/openalpr / openalpr, 2018 - 09 - 02.[10]liuruoze. EasyPR[EB / OL]. https: // http://github.com / liuruoze / EasyPR, 2018 - 09 - 02.[11]簡明全.「透視」智能行車記錄儀市場[J]. 中國公共安全, 2016, 10 : 005.[12]Zhang Q, Zhang Q, Shi W, et al. Distributed Collaborative Execution on the Edges and Its Application to AMBERAlerts[J]. IEEE Internet of Things Journal, 2018.
[13]Zhang Q, Zhang Q, Shi W, et al. Firework: Data processing and sharing for hybrid cloud-edge analytics[J]. IEEE Transactions on Parallel and Distributed Systems, 2018.[14]黃凱奇, 陳曉棠, 康運鋒, 譚鐵牛. 智能視頻監控技術綜述[J]. 計算機學報, 2015, 38 (6) : 1093 - 1118. [15]Luke ic A, Vojír T, Zajc L C, Matas J, Kristan M. Discriminative Correlation Filter with Channel and SpatialReliability[C]. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 4847 - 4856.[16]P. F. Felzenszwalb, R. B. Girshick, D. McAllester, D. Ramanan. Object Detection with Discriminatively Trained Part -Based Models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32: 1627 - 1645.[17]陳彥明, 趙清傑, 劉若宇. 一種適用於分散式攝像機網路的SCIWCF演算法[J]. 電子學報, 2016, 44 (10) : 2335 - 2343. [18]A. T. Kamal, J. A. Farrell, A. K. Roy-Chowdhury. Information weighted consensus filters and their application indistributed camera networks[J]. IEEE Transactions on Automatic Control, 2013, 58 : 3112 - 3125.[19]Liangkai L., Xingzhou Z., Mu Q.et al. SafeShareRide: Edge-based Attack Detection in Ridesharing Services, [C]//USENIX Workshop on Hot Topics in Edge Computing (HotEdge 18), 2018[20]滴滴出行通過必修課程提升駕駛員培訓系統用戶體驗[EB/OL]. https: // http://www.didiglobal.com/news / newsDetail?id=240&type=news, 2018-9-2. [21]滴滴出行提升駕駛員和乘客安全框架[EB/OL].https://www.didiglobal.com/news/newsDetail?id=270&type=news, 2018-9-2[22]HuiSY,KaiHY.Challengesinthemigrationto4Gmobilesystems[J].CommunicationsMagazineIEEE,2003,41(12):54-59.
摘自《自動化博覽》2018年增刊《邊緣計算2018專輯》推薦閱讀：
