重構(gòu)數(shù)據(jù)處理架構(gòu)大數(shù)據(jù)讓視頻更智能

成都弱電公司訊：

智慧城市的經(jīng)管中，成都視頻監(jiān)控發(fā)揮著越來越重要的作用。隨著成都視頻監(jiān)控數(shù)據(jù)量的飛速增長，工作人員在用傳統(tǒng)方式對視頻進行分析和檢索的時候碰到了很大的挑戰(zhàn)。而大數(shù)據(jù)技術(shù)可以重構(gòu)傳統(tǒng)視頻數(shù)據(jù)處理的架構(gòu)，讓人們可以更快速、更智能地分析和應(yīng)用成都視頻監(jiān)控的大數(shù)據(jù)。

我國智慧城市戰(zhàn)略已經(jīng)實施了多年，全面提升了城市的經(jīng)管和服務(wù)能力。而從數(shù)據(jù)上來看，市民感受城市最直接的變化就是攝像頭密集度越來越高。而且，很多城市都已經(jīng)開始實施“天眼工程”，為的就是實現(xiàn)對城市全方位無死角的監(jiān)控。密集分布的攝像頭網(wǎng)絡(luò)組成了城市的公共平安成都視頻監(jiān)控系統(tǒng)，也提升了一個城市治安、交通、消防、市政、城管等各部門的整體經(jīng)管和服務(wù)水平。

海量視頻數(shù)據(jù)帶來的挑戰(zhàn)

隨著成都視頻監(jiān)控數(shù)據(jù)量的快速增長，以及攝像頭高清化、超高清化的趨勢加強，成都視頻監(jiān)控數(shù)據(jù)規(guī)模將以更快的指數(shù)級別增長。以一個部署了1萬個攝像頭的中等城市為例，假定每個攝像頭每秒壓縮視頻數(shù)據(jù)量為1Mb(比特)，則一天共產(chǎn)生108TB的視頻錄像，一個月共產(chǎn)生約3PB的視頻錄像。

現(xiàn)在，新的問題出來了，攝像頭7×24小時地錄制視頻，讓每個城市都產(chǎn)生了大量的成都視頻監(jiān)控文件。但是，當公安部門或交通部門希望快速搜索某時間或某些特征的視頻段時，這個看似簡樸的想法，操作起來卻猶如大海撈針。

與通常的結(jié)構(gòu)化數(shù)據(jù)分歧，成都視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主，必須經(jīng)過復(fù)雜繁重的分析處理才能提取出文本結(jié)構(gòu)化的數(shù)據(jù)進行下一步處理。這些都給傳統(tǒng)成都視頻監(jiān)控體系架構(gòu)、數(shù)據(jù)的經(jīng)管方式、數(shù)據(jù)分析，以及成都視頻監(jiān)控數(shù)據(jù)的傳輸、存儲和計算帶寬等帶來了極大的挑戰(zhàn)。

挑戰(zhàn)一：數(shù)據(jù)量的急劇擴大和IT投資之間的矛盾。按照IT產(chǎn)業(yè)的法則：在滿足客戶需求的前提之下，往往技術(shù)成本越低，其生命力越強。由于數(shù)據(jù)量的急速擴大，以及隨之而來的大規(guī)模計算的需求越來越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重，客戶越來越希望在滿足需求的前提下，用中低端的硬件來替換高配硬件。

挑戰(zhàn)二：海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾。攝像頭7×24小時地工作如實記錄鏡頭覆蓋范圍內(nèi)所發(fā)生的一切。但是，大部分成都視頻監(jiān)控信息是無效的，有效信息可能只分布在一個較短的時間段內(nèi)，按照數(shù)學統(tǒng)計的說法，信息是呈現(xiàn)冪律分布的，也稱之為信息的密度，往往越高密度的信息對客戶價值越大。

挑戰(zhàn)三：資源利用和效率之間的矛盾。隨著成都視頻監(jiān)控數(shù)據(jù)量的增加，哪怕對TB級別的數(shù)據(jù)進行視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用傳統(tǒng)方式都可能需要花費數(shù)小時的計算，這遠遠不能勝任時效性的需求。視頻的分析和檢索，不能依賴于傳統(tǒng)的手段，視頻智能分析必須尋找新的突破。

因此，想要從如此海量的成都視頻監(jiān)控文件檢索到所需的視頻信息，必須借助特殊的技術(shù)幫忙。