摘要：視頻監(jiān)控系統對海量視頻數據存儲和智能視頻分析的需求日益突出。針對系統硬件計算能力有限，用戶需求的多樣性，系統擴展性復雜等問題，云存儲技術有很大突破。通過虛擬化技術構建資源池，使用Hadoop分布式文件系統存儲海量視頻數據，使用Map/Reduce編程模型實現大數據并行計算，為用戶提供實時視頻監(jiān)控和智能視頻分析服務。

關鍵詞：云計算;云存儲;視頻監(jiān)控;Hadoop分布式文件系統

互聯網的迅猛發(fā)展，不僅改變了我們的生活方式，也顛覆了各個領域的經營與管理。隨著網絡信息化技術的日益完善，使得視頻資源的聯網共享成為視頻監(jiān)控、 IPTV等大數據領域的迫切需求，現有分散的視頻資源正在朝集中化的方向發(fā)展。隨著海量視頻數據的快速增長，傳統的視頻監(jiān)控難以滿足在大數據計算分析、存儲及數據共享等上的需要，或者說很難以更低的成本，更靈活的擴展性，更健壯、更可靠、更安全的系統架構來滿足行業(yè)需求。因此，云計算開始運用到大規(guī)模視頻監(jiān)控領域。

1 相關知識

“云計算”并非是一種新的計算技術，而是結合多種計算技術，以最優(yōu)性價比為目的的綜合型計算模式。通過云計算技術，將海量的資源通過網絡連接起來，用戶能夠共享數據、協同計算，網絡中的計算機、服務器共同對外提供服務，并使之透明化。

1.1 云計算

云計算是分布式計算、并行計算和網格汁算的發(fā)展，它將計算任務分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算能力、存儲空間和各種軟件服務。

云計算通過虛擬化技術，將大量異構的網絡服務器和不同廠家的網絡存儲設備構建成統一的資源池，通過互聯網連接起來，用戶不需要了解云存儲系統的細節(jié)，也不必掌握

專業(yè)的云技術知識，只需要關注自己需要什么樣的資源，以及如何通過互聯網來獲得相應的服務。云計算為大規(guī)視頻監(jiān)控系統提供超強計算的能力，靈活地為用戶提供各種服務，同時減少系統建設、升級及運維管理的成本，提高系統資源的利用率和系統運行的可靠性。

1. 2 云存儲

云存儲是在云計算的基礎上衍生和發(fā)展出來的一種技術。它通過網絡將各類存儲設備匯集起來，通過網絡集中管理，共享數據，其靈活的擴展性，可以對外提供數據存儲和業(yè)務服務以及與存儲相關的增值應用。

云存儲系統以網絡服務器和網絡存儲設備為基礎，構建成一個大規(guī)模的存儲集群，采用大規(guī)模分布式文件系統對存儲資源集中管理，可以提供上海量的存儲空間同時也可以為大量用戶提供服務，推動了大數據時代的發(fā)展。云存儲系統的成本遠遠低于傳統的存儲系統，并且具有良好的可擴充性和可靠性，推動著大規(guī)模視頻監(jiān)控系統的變革。

2 基于云存儲的監(jiān)控系統

目前，云存儲的實現并不存在技術上的障礙，它需要云設備、云軟件、云服務等有機地集合在一起，為用戶提供無障礙的云服務。將存儲設備和應用軟件相結合，通過分布式文件系統架構實現由存儲設備向存儲服務的轉變。

2.1 云存儲系統的結構模型

與傳統的存儲設備相比，云存儲不再是單純的存儲設備，通過虛擬化技術，將無數分散的服務器和存儲設備通過網絡組織起來，統一管理，協同工作，通過應用軟件對外提供存儲服務。云存儲系統結構模型由物理存儲層、基礎管理層、應用接口層和用戶訪問層組成，如圖1所示。

2.2 基于云存儲監(jiān)控系統的設計

基于云存儲的視頻監(jiān)控系統在邏輯上可分為前端視頻采集、云端數據管理中心、視頻業(yè)務服務和客戶端管理系統。如圖2所示。

前端視頻采集通過網絡連接到云存儲系統，云存儲系統為每一路高清IP攝像頭分配足夠的帶寬。高清IP攝像頭將采集的高清視頻流進行壓縮編碼，然后再將壓縮編碼后的視頻流封裝成能在網絡上傳輸的IP數據包，通過Internet上傳到云資源池中。

云端數據管理中心對云資源進行自動監(jiān)控、自動調度和集中管理等一體化運維操作，通過虛擬化存儲技術、Hadoop分布式文件系統、云計算等技術結合應用程序實現存儲設備內容的分發(fā)、數據刪冗、數據壓縮、數據加密、數據備份與數據恢復等功能。

視頻業(yè)務服務運行在云端數據管理中心之上，是云資源的應用集合，根據用戶的不同需求，提供相關的業(yè)務服務。

客戶端管理系統通過公用API接口訪問視頻相應的業(yè)務服務?？蛻舳斯芾硐到y的每個操作對應著一個業(yè)務請求，通過網絡接入、用戶認證、權限管理等安全策略驗證后，方可訪問相應的業(yè)務。

3 關鍵技術及實現

隨著網絡技術的發(fā)展，人們對智能安防提出了新的要求，傳統視頻監(jiān)控系統的局限性越來越突出，視頻監(jiān)控系統的網絡化、智能化以及安全越來越受到人們的關注和重視?；谠拼鎯Φ囊曨l監(jiān)控系統在數據存儲與安全，實時轉碼，視頻智能分析等方面具有自身獨特的技術優(yōu)勢。

3.1 數據存儲與安全

Hadoop分布式文件系統是現在主流的分布式文件系統之一，具有高容錯性，可以運行在低成本的計算機硬件基礎上。Hadoop分布式文件系統為讀寫數據提供了大吞吐量，可運行需要大量數據計算的應用程序，非常適合大規(guī)模視頻監(jiān)控系統的應用。

Hadoop分布式文件系統也采用了主從架構，它的集群是由一個Namenode和多個Datanode組成。Namenode是一個中心服務器，其主要負責管理文件系統的命名空間以及客戶端對文件的訪問操作。Datanode負責管理文件塊的創(chuàng)建、存儲和刪除，并且在Namenode的統一調度下進行文件塊的復制操作。

Hadoop分布式文件系統將每個文件分成一系列固定大小的數據塊，除了最后一個，所有的數據塊大小都為64MB。為了容錯，提高系統的可用性，存儲在 Datanode中文件的數據塊都會有副本。一般情況下，用戶的文件有3個副本，系統會將第一個副本放在本地節(jié)點上，將第二個副本放到同一機架的另外一個本地節(jié)點上，而將第三個副本放到云存儲系統不同機架的一個節(jié)點上。當某一節(jié)點的數據被破壞后，可以讀取其它節(jié)點的副本，提高數據的安全性，同時保證了系統的可靠性。