城市公共場所往往有成千上萬路監(jiān)控攝像頭遍布街頭，晝夜不停地監(jiān)視和錄像，在改善社會治安的同時，也產(chǎn)生出海量的視頻需要監(jiān)控管理平臺處理。要對這些海量視頻通過人工進行重點圖像的抓拍，困難很大。

　　首先，需要對所有的視頻錄像進行諸秒瀏覽，才能發(fā)現(xiàn)重點圖像，這無疑工作量巨大，甚至猶如大海撈針。

　　其次，即使找到了重點圖像，人工抓拍，并且要記錄下對應的原始視頻圖像的時間點等，也是工作量很大，效率很低。由于人的生理特征所限，長時間觀看視頻錄像，容易產(chǎn)生視覺疲勞，還有可能漏掉重要圖像和線索。

　　理想情況是一旦有重要事件發(fā)生，系統(tǒng)就可在事后能快速查找到線索。針對上述海量監(jiān)控視頻錄像的事后分析，傳統(tǒng)以人海戰(zhàn)術為主的視頻線索查找，顯然不能滿足高效查找，正面臨巨大挑戰(zhàn)，急需一種更為高效的、自動的、智能的系統(tǒng)實現(xiàn)上述需求。目前，視頻濃縮摘要技術和視頻分類檢索技術可以解決這一問題。通過視頻濃縮摘要，縮短視頻事件的播放時間，通過目標分類篩查等實現(xiàn)快速查找事件線索，縮小查看范圍的功能，這些都極大地減輕專業(yè)巡控隊伍和系統(tǒng)維護人員的工作負荷，這些視頻分析功能的實現(xiàn)和應用將大大提高監(jiān)控效率。

　　這一技術將傳統(tǒng)的事后被動調(diào)用圖像信息變?yōu)橹鲃影l(fā)現(xiàn)視頻監(jiān)控圖像的可疑點，并透過核查錄入系統(tǒng)，負責將專業(yè)巡控隊伍在發(fā)現(xiàn)可疑事件時抓取的圖像、圖片資源集中存儲，并生成事件的描述信息，包括基于時間、地點（通道）、事件類型（技防告警、移動偵測等）、標記等，實現(xiàn)基于事件描述的精確查詢功能及視頻錄像的秒級精確定位。

　　本解決方案所描述的“智能海量視頻監(jiān)控錄像分析及核查錄入解決方案”是深圳久凌軟件技術有限公司核心產(chǎn)品解決方案。其核心技術主要包括三部分：視頻濃縮摘要與圖像快照錄入；視頻目標分類篩查檢索；視頻增強和夜間視頻處理。這三部分塊既可以單獨使用也可以有機配合形成整體解決方案，該系統(tǒng)填補了我國海量視頻監(jiān)控事后分析取證及視頻目標篩查檢索的空白，技術在國際上處于領先地位。

一、 視頻濃縮摘要與圖像快照錄入子系統(tǒng)

　　由于視頻瀏覽和檢索很耗時，大多數(shù)取得的視頻并不會從頭到尾觀看和檢查。視頻濃縮摘要就成了一種瀏覽檢索視頻的有效工具。

　　1、技術原理

　　“視頻摘要”是指從原始視頻中提取感興趣的目標的活動管道三維信息，和背景視頻合成剪輯而成的較短視頻片斷，它通過同時播放多個事件，將一天的視頻被壓縮成一個簡短到幾十分鐘的事件摘要視頻；其中包含了原視頻中所有重要的目標活動詳情和快照。視頻濃縮摘要可以采用原始視頻分辨率，也可以根據(jù)存儲要求降低分辨率。管理人員通過點擊濃縮視頻中的目標或者視頻左側快照，播放目標出現(xiàn)前后的原始視頻。

　　更加快捷的方式是通過分割前景和背景，提取活動目標，用快照列表這種更加直觀便捷的方式展示。在視頻摘要和快照列表中，對于人或車輛目標，可以自動高亮顯示目標的邊框，顯示目標出現(xiàn)的時間，移動軌跡，并且支持用戶通過點擊目標快照，播放目標出現(xiàn)前后的原始視頻，或者該目標活動與背景合成的視頻。

　　　　　　　　　　　　　　　　　24小時原始監(jiān)控視頻

濃縮為數(shù)分鐘視頻摘要

　　2、 應用

　　為了提高濃縮比，提高效果，可以在視頻濃縮時指定“敏感區(qū)”，這樣只會對進入這個區(qū)域的活動目標進行摘要。

　　本系統(tǒng)支持禁區(qū)設置，對于進入禁區(qū)和離開禁區(qū)的目標進行提取，同時對于邊界絆線事件、人物尾隨、異常移動、車輛違規(guī)以及人車交互事件進行檢測與自動標注。

　　在本系統(tǒng)中，專業(yè)巡查人員（管理人員）瀏覽濃縮視頻或者快照列表，發(fā)現(xiàn)感興趣的目標以后，點擊目標，播放目標出現(xiàn)時的原始視頻，在系統(tǒng)自動生成目標的時間、地點（通道）、目標高度、運動方向、目標主要顏色次要顏色和事件類型的基礎上，管理人員可以手工完善事件類型，輸入事件標記及其它用于索引的信息。支持按照目標出現(xiàn)的時間、地點（通道）、目標高度、運動方向、主導顏色和事件類型查詢事件。本系統(tǒng)相比于傳統(tǒng)視頻播放查找事件線索標注，能提供效率數(shù)十倍，有效減輕巡查隊伍的工作負荷。

圖　通過3×3視頻快照找到原始視頻

圖　 通過點擊濃縮視頻摘要 自動找到原始視頻

　　3、特點

　　● 數(shù)分鐘看完一天的視頻，無需快進，活動細節(jié)仍以真實速度播放

　　● 濃縮密度，感興趣區(qū)域或事件檢測區(qū)域可自由設置

　　● 從濃縮視頻中選擇、點擊回放某一目標物體

　　● 支持自動記錄目標出現(xiàn)的時間、地點（通道）、目標高度、運動方向、主要顏色、次要顏色和事件類型

　　● 支持手工修改事件屬性和輸入事件標記

　　● 自由添加針對軌跡，人車類別等分類條件，實現(xiàn)基于分類的視頻濃縮

　　● 按人車和顏色，大小速度方向等條件展示目標快照

　　● 簡單易用，無縫連接DVR/DVS和第三方監(jiān)控管理平臺

　　● 支持按照目標出現(xiàn)的時間、地點（通道）、目標高度、運動方向、顏色和事件類型查詢事件

二、視頻目標分類篩查檢索系統(tǒng)

　　該系統(tǒng)是在視頻濃縮摘要與圖像快照錄入子系統(tǒng)的基礎上開發(fā)出來的，以其為基礎，同時又增加了新的功能。

　　1、 原理與應用

　　配合目擊證人提供的線索，在對事故現(xiàn)場的視頻摘要進行快速瀏覽以后，巡控人員（管理員）就可以找到一些有用的線索，如果在某一視頻摘要中發(fā)現(xiàn)了一些感興趣的目標，通常需要在更多位置的攝像機攝錄的視頻文件中搜索和檢查該目標（嫌疑人或車輛）是否在其它地方出現(xiàn)過。

　　管理員通過提供目標特征（人車類別，顏色、高度、方向、速度等）、一幅快照樣本或素描圖來請求搜索。視頻目標分類篩查檢索系統(tǒng)，首先使用一種有效的運動分割方法提取出運動的目標細節(jié)，而后這些運動目標的基本特征作為元數(shù)據(jù)被提取出來，存放到數(shù)據(jù)庫。在整個的檢索過程中，系統(tǒng)將提取檢索輸入的特征， 請求比對數(shù)據(jù)庫中已經(jīng)索引好的目標特征，而不用重新處理視頻。最后，擁有足夠高相關度的視頻目標快照將被作為檢索篩查結果顯示出來。

　　本系統(tǒng)可以多攝像機視頻同步檢索，無縫接駁核查錄入存儲中心系統(tǒng)。系統(tǒng)支持多種檢索條件，包括時間、地點（通道）、事件（技防告警、移動偵測等）、標記等的精確查詢功能，并實現(xiàn)視頻錄像的秒級精確定位。提供基于監(jiān)控探頭屬性（包括地理位置/GIS坐標、探頭規(guī)格、監(jiān)控范圍、特殊應用功能等）、事件、目標快照、目標素描等的模糊查詢功能，對應的模糊識別方法實現(xiàn)市局與分局、派出所、街道之間圖像資源查詢同一個平臺框架下通過數(shù)據(jù)庫共享使用。

　　2、 特點

　　● 支持多種檢索條件，包括時間、地點（通道）、事件（技防告警、移動偵測等）、標記等的精確查詢功能

　　● 支持基于事件、目標分類或者樣本檢索等模糊查詢檢索功能

　　● 可以多攝像機視頻同步檢索，無縫接駁核查錄入存儲中心系統(tǒng)

　　● 通過核查錄入存儲中心系統(tǒng)，實現(xiàn)跨分局的同步檢索

　　● 更加能夠發(fā)揮云計算并行處理的優(yōu)勢

　　● 直接生成快照列表供管理員查找，快速找到目標可能的所在位置

　　● 點擊目標快照，播放原始視頻

　　● 支持自動記錄目標出現(xiàn)的時間、地點（通道）、目標高度、運動方向、主要顏色、次要顏色和事件類型

　　● 支持手工修改事件屬性和輸入事件標記

三、視頻增強和夜間視頻處理子系統(tǒng)

　　這個子系統(tǒng)是對前面兩個系統(tǒng)的補充。視頻增強和夜間視頻處理子系統(tǒng)，可以作為本系統(tǒng)的前置處理模塊，用于提升視頻質量。

　　針對夜間低照度和高噪聲問題，視頻壓縮產(chǎn)生的方塊效應以及畫面閃爍，運動產(chǎn)生的模糊，系統(tǒng)首創(chuàng)了通過光流估計及邊沿銳化技術，解決夜間弱光條件下視頻去模糊和低質量圖像提升問題，針對運動模糊的模糊核的估計去模糊技術，可以將人眼無法分辨的模糊圖像圖片還原。

運動過程中不清晰的卡車圖像

運動模糊去除　還原后的圖像

　　綜上所述，智能海量視頻監(jiān)控錄像分析系統(tǒng)能夠解決用戶實際需求：系統(tǒng)視頻的實時調(diào)看和錄像回放功能，并能夠實現(xiàn)對重點圖像的抓拍功能，并對抓拍照片的抓拍時間、地點、點位編號、抓拍原因、案事件簡要內(nèi)容、抓拍目標特征等信息進行記錄和查詢等需求方面，完全能夠滿足功能要求，而且與傳統(tǒng)方法相比，具有明顯優(yōu)勢?！　　?/P>

　　我們可以將其概括為“五放心”的視頻增強、濃縮摘要與檢索產(chǎn)品，即：

　　領導稱心（領導手機查看高質量）

　　使用舒心（分類檢索不用大海撈針）

　　維護省心（每天只需幾分鐘瀏覽）

　　環(huán)保放心（節(jié)省硬盤）

　　贏得民心（改善治安）

　　海量視頻監(jiān)控錄像分析和核查錄入系統(tǒng)解決方案的應用可以描述為：

　　1.管理人員根據(jù)案件事件線索，比如一個“穿紅色上衣的成年嫌疑人”出現(xiàn)在現(xiàn)場，案發(fā)時間、地點（攝像機通道號）作為案情錄入；

　　2.核查錄入軟件調(diào)度相關地點及附近地點視頻錄像到存儲中心；

　　3.如果視頻不清晰，先用視頻增強軟件預處理；

　　4.先進行單個攝像頭視頻的處理，使用視頻濃縮摘要與圖像快照錄入子系統(tǒng)生成快照列表和濃縮視頻文件，通過快照找出嫌疑目標，錄入事件信息到核查錄入系統(tǒng)

　　5. 通過視頻目標分類篩查檢索子系統(tǒng)搜索周邊攝像機案發(fā)前后的錄像文件，找出從目標進入到離開現(xiàn)場的全程軌跡，錄入跨攝像頭事件全程信息到核查錄入系統(tǒng)

　　6.上述自動搜索系統(tǒng)可以與人工核查錄入系統(tǒng)并存。