第1頁:智能視頻監(jiān)控技術(shù)兩種構(gòu)架方式
視頻監(jiān)控是視頻工程中重要的技術(shù)和應(yīng)用領(lǐng)域,支撐其發(fā)展的視頻技術(shù)在不到一個(gè)世紀(jì)的發(fā)展過程中,大致經(jīng)歷了3個(gè)跨越式的發(fā)展階段。20世紀(jì)30年代,以電視廣播為代表的視頻技術(shù)走出了實(shí)驗(yàn)室,進(jìn)入廣播電視臺(tái)和千萬家庭,實(shí)現(xiàn)了從靜止圖像傳輸?shù)交顒?dòng)圖像傳輸?shù)目缭剑?0世紀(jì)80年代末,以會(huì)議電視、視頻監(jiān)控等為代表的視頻技術(shù)走出了實(shí)驗(yàn)室,進(jìn)入眾多的電視會(huì)議室、安防系統(tǒng),實(shí)現(xiàn)了從模擬視頻通信到數(shù)字視頻通信的跨越;如今,以智能視頻監(jiān)控(ivs)為代表的視頻技術(shù),正處在走出實(shí)驗(yàn)室、進(jìn)入到各行各業(yè)的應(yīng)用階段,將要實(shí)現(xiàn)從“機(jī)械”的視頻信息處理向智能化視頻信息處理的跨越。當(dāng)前中國正處在這一跨越的關(guān)鍵時(shí)段。智能視頻監(jiān)控只是智能視頻技術(shù)的一個(gè)部分,一個(gè)將視頻技術(shù)引入智能時(shí)代的部分。
智能視頻監(jiān)控技術(shù)兩種構(gòu)架方式
視頻監(jiān)控的智能化表現(xiàn)為計(jì)算機(jī)視覺算法在視頻分析中的應(yīng)用。智能視頻監(jiān)控區(qū)別于傳統(tǒng)意義上的監(jiān)控系統(tǒng)在于變被動(dòng)監(jiān)控為主動(dòng)監(jiān)控(自動(dòng)檢測、識(shí)別潛在入侵者、可疑目標(biāo)和突發(fā)事件),即它的智能性。簡單而言,不僅用攝像機(jī)代替人眼,而且用計(jì)算機(jī)代替人、協(xié)助人,來完成監(jiān)視或控制的任務(wù),從而減輕人的負(fù)擔(dān)。智能視頻監(jiān)控系統(tǒng)的結(jié)構(gòu)通常有如下兩種:
主動(dòng)智能監(jiān)視系統(tǒng),這類系統(tǒng)的特點(diǎn)是主動(dòng)攝像機(jī)不僅可以理解視場內(nèi)的場景,還可以有選擇性專注于特定的活動(dòng)或感興趣的事件。主動(dòng)智能監(jiān)視系統(tǒng)需要額外完成兩個(gè)任務(wù):管理主動(dòng)攝像機(jī)資源,即確定哪些攝像機(jī)用于監(jiān)視全景,哪些攝像機(jī)用于監(jiān)視特定行為或事件;利用視頻分析算法提供的信息控制攝像機(jī)的運(yùn)動(dòng)和變焦。
分布式智能視頻監(jiān)視系統(tǒng),通過無線視頻通信網(wǎng)絡(luò)將各點(diǎn)智能攝像機(jī)與中心站連接起來,智能監(jiān)視服務(wù)器不僅可以生成圖像還可以分析視頻,根據(jù)視頻分析的信息控制攝像機(jī)以及確定使用恰當(dāng)?shù)拇鎯?chǔ)資源和帶寬傳送高質(zhì)量視頻給終端用戶。智能攝像機(jī)最大程度減小了系統(tǒng)結(jié)構(gòu)的成本。
智能視頻監(jiān)控技術(shù)特性
智能視頻監(jiān)控技術(shù)一直在發(fā)展,然而,環(huán)境的復(fù)雜性以及目標(biāo)行為的多樣性等原因使得智能監(jiān)控算法變得復(fù)雜,且算法通常是針對(duì)具體的應(yīng)用而設(shè)計(jì)的。盡管已經(jīng)提出許多被證明是有效的智能分析算法,但是受計(jì)算機(jī)數(shù)據(jù)處理能力的限制,難以適合實(shí)時(shí)計(jì)算,自適應(yīng)性也較差,應(yīng)用場合受限。目前,對(duì)于以目標(biāo)整體的運(yùn)動(dòng)軌跡作為研究目標(biāo),提取運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)特征或者其本身所具有的特性這種類型的視頻智能分析已經(jīng)取得了一定的成果。
這一類研究目標(biāo)不一定是人,也可以是車輛、動(dòng)物或飛機(jī)、坦克等軍事目標(biāo)。以目標(biāo)的局部部分運(yùn)動(dòng)為研究目標(biāo),提取其局部的“肢體語言”特征分析判斷目標(biāo)的行為,比如視頻的手語識(shí)別、步態(tài)識(shí)別、表情識(shí)別或者動(dòng)作識(shí)別等。此類監(jiān)視問題的困難在于運(yùn)動(dòng)模式的提取以及高效可靠的識(shí)別算法。
智能視頻監(jiān)控系統(tǒng)可以解決兩個(gè)主要問題:一個(gè)是將安防操作人員從繁雜而枯燥的“盯屏幕”任務(wù)中解脫出來。由機(jī)器來完成這部分工作,對(duì)異常情況能夠及時(shí)處理等,比如報(bào)警等;另外一個(gè)是為在海量的視頻數(shù)據(jù)中快速搜索到想要找的圖像。對(duì)于上述兩個(gè)問題,視頻分析廠家經(jīng)常提到的案例是:操作人員盯著屏幕超過1o分鐘后將漏掉90%的視頻信息而使這項(xiàng)工作失去意義;倫敦地鐵案中,安保人員花了70個(gè)工時(shí)才在大量磁帶中找到需要的信息。
智能視頻監(jiān)控的核心內(nèi)容是對(duì)特定目標(biāo)的自動(dòng)檢測、跟蹤與行為識(shí)別,包括運(yùn)動(dòng)檢測、目標(biāo)分類、目標(biāo)跟蹤、行為識(shí)別等4個(gè)方面內(nèi)容。例如對(duì)人體的跟蹤:首先從實(shí)時(shí)圖像序列中檢測出運(yùn)動(dòng)物體,再判定運(yùn)動(dòng)物體中的人體,然后跟蹤人體的運(yùn)動(dòng)軌跡,并分析和選定有異常行為的人,如在車站,機(jī)場等遺留包裹的人。最后對(duì)行為異常的人進(jìn)行持續(xù)跟蹤。
移動(dòng)目標(biāo)提取
運(yùn)動(dòng)檢測是從圖像序列中將變化區(qū)域從背景圖像中提取出來。運(yùn)動(dòng)區(qū)域的有效分割將大大減少后續(xù)過程的運(yùn)算量。然而,背景圖像的不穩(wěn)定性,如陰影、光照、慢移動(dòng)、靜移動(dòng)(樹葉的擺動(dòng))等等,也使得運(yùn)動(dòng)檢測非常困難。目前較為實(shí)用的視頻分析方法主要有兩類:一類是背景減除方法,另一類是時(shí)間差分方法。背景減除方法是利用當(dāng)前圖像和背景圖象的差分來檢測出運(yùn)動(dòng)區(qū)域的一種方法,可以提供比較完整的運(yùn)動(dòng)目標(biāo)特征數(shù)據(jù),精確度和靈敏度比較高,具有良好的性能表現(xiàn)。時(shí)間差分法利用視頻圖像特征,從連續(xù)得到的視頻流中提取所需要的動(dòng)態(tài)目標(biāo)信息。時(shí)間差分實(shí)質(zhì)是利用相鄰幀圖像相減來提取前景目標(biāo)移動(dòng)的信息,此方法不能完全提取所有相關(guān)特征像素點(diǎn),在運(yùn)動(dòng)實(shí)體內(nèi)部可能產(chǎn)生空洞,能檢測出目標(biāo)的邊緣。
第2頁:移動(dòng)目標(biāo)跟蹤
移動(dòng)目標(biāo)跟蹤
移動(dòng)目標(biāo)跟蹤等價(jià)于在連續(xù)的圖像幀間,創(chuàng)建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對(duì)應(yīng)匹配問題。常用的數(shù)學(xué)工具有卡爾曼濾波、condensation算法及動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等。其中kalman濾波是基于高斯分布的狀態(tài)預(yù)測方法。不能有效地處理多峰模式的分布情況;condensation算法是以因子抽樣為基礎(chǔ)的條件密度傳播方法,結(jié)合可學(xué)習(xí)的動(dòng)態(tài)模型,可完成魯棒的運(yùn)動(dòng)跟蹤。就跟蹤對(duì)象而言,跟蹤如手、臉、頭、腿等身體部分與跟蹤整個(gè)目標(biāo);就跟蹤視角而言,有對(duì)應(yīng)于單攝像機(jī)的單一視角、對(duì)應(yīng)于多攝像機(jī)的多視角和全方位視角;當(dāng)然還可以通過跟蹤空間(二維或三維)、跟蹤環(huán)境(室內(nèi)或戶外)、跟蹤人數(shù)(單人、多人、人群)、攝像機(jī)狀態(tài)(運(yùn)動(dòng)或固定)等方面進(jìn)行分類。從跟蹤方法的不同討論跟蹤算法。
(1)基于模型的跟蹤
傳統(tǒng)的人體表達(dá)方法有如下三種:①線圖法:人運(yùn)動(dòng)的實(shí)質(zhì)是骨骼的運(yùn)動(dòng),因此該表達(dá)方法將身體的各個(gè)部分以直線來近似。②二維輪廓(2d contour):該人體表達(dá)方法的使用直接與人體在圖像中的投影有關(guān),如ju等提出的紙板人模型,它將人的肢體用一組連接的平面區(qū)域塊所表達(dá),該區(qū)域塊的參數(shù)化運(yùn)動(dòng)受關(guān)節(jié)運(yùn)動(dòng)(articulated movement)的約束,該模型被用于關(guān)節(jié)運(yùn)動(dòng)圖像的分析。③立體模型(volumetric model):它是利用廣義錐臺(tái)、橢圓柱、球等三維模型來描述人體的結(jié)構(gòu)細(xì)節(jié),因此要求更多的計(jì)算參數(shù)和匹配過程中更大的計(jì)算量。
例如rohr使用14個(gè)橢圓柱體模型來表達(dá)人體結(jié)構(gòu),坐標(biāo)系統(tǒng)的原點(diǎn)被定位在軀干的中心,目的是想利用該模型來產(chǎn)生人的行走的三維描述;wachter與nagel利用橢圓錐臺(tái)建立三維人體模型,通過在連續(xù)的圖像幀問匹配三維人體模型的投影來獲得人運(yùn)動(dòng)的定量描述,其中,它利用了迭代的擴(kuò)展卡爾曼濾波方法,結(jié)合邊緣、區(qū)域信息及身體解析約束確定的身體關(guān)節(jié)運(yùn)動(dòng)的自由度,實(shí)現(xiàn)單目圖像序列中人的跟蹤。