大數據在成都視頻監控存儲應用與挑戰分析

成都弱電公司訊：

作為云時代海量數據的來源之一，安防成都視頻監控行業隨著智慧城市和智能交通的快速發展、移動互聯設備的快速激增，產生了海量的非結構化視音頻數據，帶動了大數據的存儲、經管、分析等應用。面向云時代，業界同仁一擁而上、熱血沸騰，無論是IT供應商、存儲廠商、還是解決方案提供商都不甘落后，雨后春筍般的紛紛提出基于計算、存儲、網絡等多層次虛擬化的數據中心解決方案，投入大量資源，推出云存儲、云計算等系統產品。

面對大數據，成都視頻監控行業面臨哪些難題？我們如何應用云計算、大數據相關技術來獲取數據背后隱含的信息？未來的挑戰和前景如何？我將從以上幾方面發表個人觀點，意在拋磚引玉、引發業界同仁在產業發展的進一步思考和討論。

1.成都視頻監控存儲及智能分析系統中的難題

根據IDC預測，全球在2010年已正式進入ZB時代，全球數據量大約每兩年翻一番，意味著人類在最近兩年產生的數據量相當于之前產生的全部數據量。爆炸式增長的數據，正推動人類進入大數據的時代。

大數據包括社交媒體、移動設備、科學計算和城市中部署的各類傳感器信息，其中視頻是構成數據體量最大的組成部分。據IMSResearch統計，2018年全球攝像頭的出貨量達到2646萬臺，預計到2018年攝像頭出貨量達5454萬臺。一天產生的成都視頻監控數據超過1500PB，而累計歷史數據將更為龐大，在成都視頻監控大聯網、高清化推動下，成都視頻監控業務將面臨海量非結構化數據存儲、數據共享、數據平安及數據利用四大難題。

(1)海量非結構化數據存儲

安防行業的大數據目前主要來源于智慧城市和智能交通等大型安防項目。例如，2018年全球兩天的數據就高達1.8ZB，相當于文明起始到21世紀初全部的數據總和；2018年某一線城市一個季度產生的數據總量也在200PB。當前，智慧城市建設已成為地方政府推進城鎮化發展的重要途徑，而隨著智慧城市的發展，對高清攝像機和智能化監控設備的需求會持續增長，智能交通行業將成為十二五政府投資的重點領域，這將使未來幾年成都視頻監控行業仍保持高景氣度。此外隨著智能家居、民用安防的普及，更多的用戶會通過移動設備監看視頻，于此同時會有更多的移動互聯數據產生。2018年全國就擁有3.88億移動互聯網用戶，預計2018年互聯設備將達到150億，2020年互聯設備將達到2000億。數據10倍速的增長，在帶來巨大機遇的同時，也帶來了很大的挑戰。

按照IT產業的法則：在滿足客戶需求的前提之下，往往技術成本越低，其生命力往往越強。由于數據量的急速擴大，以及隨之而來的大規模計算的需求越來越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重。如何在滿足需求的前提下，刪除重復數據、降低硬件成本投資將成為海量非結構化數據存儲的一個難題。

(2)數據共享

大數據需要通過快速的采集、發現和分析，從大量化、多類別的數據中提取價值。安防大數據時代最顯著的特征就是海量和非結構化數據共享，用以提高數據處理能力。好比天網工程和智能交通就是最具代表性的案例，天網工程一般分為省市縣鄉鎮等多級架構，智能交通圖像也分布在前端卡口、區節點、市省國家級中心中，海量數據存儲在分歧節點、分歧設備中，這給傳統的數據經管和使用機制帶來了極大的挑戰。

與科學計算、互聯網相比，成都視頻監控的大數據處理難度尤大，首先，視頻錄像是更原始的非文本非結構化的數據，必須經過復雜繁重的分析處理才能提取出文本結構化的數據進行下一步處理；其次視頻錄像相對其它形式數據的容量要大幾個數量級，對傳輸、存儲和計算的帶寬要求大。因此我們說數據高效共享是第二大難題。

(3)數據平安

平安城市、智慧城市的建設促使安防云存儲技術的應用，智慧城市一大要求就是將視頻存儲數據相互之間進行聯動、共享，例如在犯罪追蹤時，公安、交通、民用行業等多范圍的存儲數據能夠共享，而這種共享具備了云存儲的特性；傳統的存儲技術無法滿足社會發展需求，云存儲的在安防領域的應用成為必然。

安防成都視頻監控數據具有私密性高、保密性強的特點，不僅是事后追查的依據、而且更是后續數據分析挖掘的基礎。因此我們說數據平安一方面是指不受到外界數據的入侵和非法獲取、另一方面是指龐大系統的魯棒性、體系容錯機制，確保硬件軟件發生故障時，數據仍然可以恢復、得以儲存。面對海量數據的存儲、共享，硬件和軟件設備承載了極大的風險，因此我們如何構建大型、海量成都視頻監控存儲系統、數據分析系統以及容錯冗余機制是第三大難題。

(4)數據利用

攝像頭7X24小時工作，如實記錄鏡頭覆蓋范圍的發生的一切，僅僅記錄信息是不夠的，因為對于客戶來講可能大部分信息是無效。數據的有效性分為兩個方面，一方面有效信息可能只分布在一個較短的時間段內，按照數學統計的說法，信息是呈現冪律分布的，也稱為信息的密度，往往越高密度的信息對客戶價值越大；另一方面是指深層次挖掘龐大的海量數據，關聯得出有效信息。

成都視頻監控業務網絡化、大聯網后，網絡內的設備越來越多，利用閑置的計算資源，實現資源的最大化利用，關乎運算的效率。在成都視頻監控領域，往往視頻分析的效率決定價值，更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。隨著數據量的增加，哪怕對TB級別的數據進行對視頻內容的數據分析和檢索，采用串行計算的模式都可能需要花費數小時的計算，已遠遠不能勝任時效性的需求。視頻的分析和檢索，不能依賴于傳統的手段，巨量數據的效率優化，并行計算也許是解決問題的辦法。