座艙監(jiān)測系統(tǒng)主要分為輸入端（感知端）、控制端（規(guī)劃端）、輸出端（執(zhí)行端），輸入端主要由車內(nèi)攝像頭和雷達(dá)作為信息源，然后進(jìn)行判斷，最后輸出信息顯示終端。參考《汽車智能座艙分級與綜合評價白皮書》，智能座艙定義為：座艙域控制器由一顆或者多顆主控座艙芯片以及 外圍電路，集成車載信息娛樂系統(tǒng)、液晶儀表、HUD等功能，接收傳感器信號、計算并決策、發(fā)送指令給執(zhí)行端。智能座艙具體功能依據(jù)市場主流銷售車型功能列表分類如下：

智能座艙功能列表

其中DMS，即Driver Monitoring System，駕駛員監(jiān)測系統(tǒng)，監(jiān)測對象為Driver(駕駛員），DMS可以監(jiān)測駕駛員的疲勞狀態(tài)、危險駕駛行為。

OMS，即Occupancy Monitoring System，乘客監(jiān)測系統(tǒng)，監(jiān)測對象為乘客，OMS能夠監(jiān)測乘客年齡、狀態(tài)、情緒等。

相對于DMS和OMS而言，IMS是一個比較新的概念。In-cabin monitoring System即汽車座艙的智能視覺監(jiān)控系統(tǒng)。通俗來講，IMS既包括DMS、OMS，也包括FACE ID、手勢識別、體征監(jiān)測、遠(yuǎn)程監(jiān)控等。

IMS系統(tǒng)工作原理

座艙檢測系統(tǒng)的形成鏈條主要涉及三個環(huán)節(jié)，攝像頭/傳感器進(jìn)行圖像的捕捉與輸入；芯片板進(jìn)行解碼與演算；信息娛樂系統(tǒng)（IVI）的人機(jī)交互進(jìn)行監(jiān)測提示與反饋，最終使駕駛員得到相應(yīng)的安全預(yù)警反饋。

小結(jié)：                                    

在智能座艙中，除了顯示和交互技術(shù)外，座艙監(jiān)測技術(shù)也是未來的重要發(fā)展方向，監(jiān)測系統(tǒng)主要包含了駕駛員監(jiān)測（DMS）和乘員監(jiān)測（OMS）。當(dāng)前的座艙監(jiān)測方案主要包括了DMS和OMS,前者主要對駕駛員的監(jiān)測，主要利用2D/3D攝像頭方案，后者主要針對車內(nèi)乘客的監(jiān)測，會增加毫米波雷達(dá)作為補(bǔ)充。

#01    

駕駛員監(jiān)控系統(tǒng)（DMS）系統(tǒng)介紹

根據(jù)“歐盟通用安全法規(guī)”，從2024年中期開始，所有劃歸M類和N類的新制造車輛都必須配備先進(jìn)的駕駛員分心警告系統(tǒng)（ADDW）。ADDW系統(tǒng)主要監(jiān)控駕駛員的眼睛運(yùn)動，并在檢測到分心跡象時發(fā)出警告。早在2019年，寶馬X5車型就已經(jīng)配備了駕駛員注意力攝像頭，用于觀察駕駛員的睜眼情況和頭部位置，從而評估駕駛員的專注程度。

拓展：

按用途以符號分類 按GB/T 15089--2001《機(jī)動車輛和掛車分類》標(biāo)準(zhǔn)將機(jī)動車輛和掛車分為M類、N類、G類、O類、L類。1、M類：M類車輛是至少有四個車輪并且用于載客的機(jī)動車輛。2、N類：N類車輛時至少有四個車輪且用于載貨的機(jī)動車輛。3、G類：G類可概括為越野車，包括在M類N類之中。4、O類：O類掛車【包括半掛車】。

M類：至少有4個車輪并且用于載客的機(jī)動車輛；

M1類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座的載客車;

M2類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設(shè)計總質(zhì)量不超過5000kg的載客車;

M3類：包括駕駛員座位在內(nèi),座位數(shù)不超過9座,且最大設(shè)計總質(zhì)量超過5000kg的載客車;

N類：至少有4個車輪并且用于載貨的機(jī)動車輛；

N1類：最大設(shè)計總質(zhì)量不超過3500kg的載貨車輛；

N2類：最大設(shè)計總質(zhì)量超過3500kg，但不超過12000kg的載貨車輛；

N3類：最大設(shè)計總質(zhì)量超過12000kg的載貨車輛；

DMS并不是一個完全新穎的概念，不過，傳統(tǒng)DMS通常依賴于從車輛收集信息的被動技術(shù)，例如車道保持、駕駛持續(xù)時間，以及轉(zhuǎn)向傳感器等。然而，這些被動技術(shù)已經(jīng)被證明不夠準(zhǔn)確，容易導(dǎo)致很高的誤報率。因此，ADDW法規(guī)轉(zhuǎn)向主動監(jiān)測駕駛員的眼球運(yùn)動，標(biāo)志著DMS從被動技術(shù)向基于視覺的主動監(jiān)測技術(shù)轉(zhuǎn)變。

一、DMS分類

DMS可分為兩類：直接/主動監(jiān)控和被動/間接監(jiān)控。

被動監(jiān)控依靠駕駛持續(xù)時間和車道保持等車輛信息來評估駕駛員的疲勞程度，但這種方案有可能產(chǎn)生誤報。另一方面，根據(jù)ADDW的要求，主動監(jiān)控利用近紅外（NIR）相機(jī)，這對于眼球運(yùn)動檢測特別有效，且不會影響駕駛員。近紅外相機(jī)通常包含一顆或兩顆LED/VCSEL照明器，以及一顆圖像傳感器，它們通常被安裝在車輛A柱或轉(zhuǎn)向柱等位置。然后，通過軟件提取駕駛員眼瞼閉合以及打哈欠等特征，在識別駕駛員瞌睡或疲勞跡象方面發(fā)揮著至關(guān)重要的作用。

DMS方案

二、DMS配置

DMS攝像頭安裝位置具有靈活性，可以在儀表盤、方向盤柱、左右側(cè) A 柱或內(nèi)后視鏡等位置，此外，大陸還將DMS集成在顯示屏中，實(shí)現(xiàn)結(jié)構(gòu)上的小型化。其中正對駕駛?cè)四樈嵌鹊霓D(zhuǎn)向柱和儀表盤位置，是效果最好的，A柱其次，艙內(nèi)后視鏡也勉強(qiáng)可以。

攝像頭推薦安裝位置

目前主流是利用2D或3D的攝像頭方案（一般帶紅外功能）實(shí)現(xiàn)對駕駛員的身份識別、駕駛員疲勞駕駛以及危險行為的檢測功能，是目前流行的ADAS（高級駕駛輔助系統(tǒng)）系統(tǒng)中重要組成部分。

• 2D人臉識別技術(shù)的原理就是用一顆RGB攝像頭捕捉人臉的2D平面圖像和已經(jīng)錄入的圖像庫進(jìn)行對比，算法相對簡單，模組成本較低。但是由于其捕捉的是人臉的2D平面圖像，即使輔以“活體”算法，但防偽性還是很差。

2D 3D的區(qū)別

• 3D人臉識別技術(shù)逐漸運(yùn)用到智能鎖領(lǐng)域。而主流的3D人臉識別技術(shù)主要有3種：

  ? 雙目識別技術(shù)：雙目識別技術(shù)又叫雙目測距技術(shù)，原理和我們的人眼類似，直接由兩個攝像頭拍攝，得到兩個不同的平面圖像，再把兩張圖像上相同的特征點(diǎn)標(biāo)注出來，最后再基于三角測量原理計算出深度信息。

  

  雙目識別原理
  

  ?3D結(jié)構(gòu)光技術(shù)：3D結(jié)構(gòu)光需要有點(diǎn)陣投影器和紅外攝像頭。點(diǎn)陣投影器投影到我們臉上，紅外攝像頭則找到投影到臉上的光點(diǎn)，然后基于三角測量原理計算出人臉的深度信息，通過深度判斷人臉是否吻合。

  

  

  3D結(jié)構(gòu)光原理

  ?TOF技術(shù)：TOF又稱飛行時間技術(shù)，通過傳感器發(fā)射出紅外光，紅外光再從物體表面反射回傳感器，傳感器根據(jù)發(fā)射光和反射光之間的相位差換算出深度信息，通過深度信息判斷人臉是否吻合。

  TOF的原理與3D結(jié)構(gòu)光比較相似，都是通過紅外光反射計算深度信息，只是3D結(jié)構(gòu)光技術(shù)投射的紅外光是點(diǎn)狀，而TOF投射的則是一整片紅外光，因此TOF的工作距離可以達(dá)到5米，但是精度與3D結(jié)構(gòu)光相比還是有較大的差距。

  

3D結(jié)構(gòu)和3D-TOF的差異

總結(jié)：

1、雙目方案。比較大的問題在于實(shí)現(xiàn)算法需要很高的計算資源，導(dǎo)致實(shí)時性很差，而且基本跟分辨率，檢測精度掛鉤。也就是說，分辨率越高，要求精度越高，則計算越復(fù)雜，同時，純雙目方案受光照，物體紋理性質(zhì)影響。

2、結(jié)構(gòu)光方案。目的就是為了解決雙目中匹配算法的復(fù)雜度和魯棒性問題而提出，該方案解決了大多數(shù)環(huán)境下雙目的上述問題。但是，在強(qiáng)光下，結(jié)構(gòu)光核心技術(shù)激光散斑會被淹沒，因此，不合適室外。同時，在長時間監(jiān)控方面，激光發(fā)射設(shè)備容易壞，重新更換設(shè)備后，需要重新標(biāo)定。

3、TOF方案。傳感器技術(shù)不是很成熟，因此，分辨率較低，成本高，但由于其原理與另外兩種完全不同，實(shí)時性高，不需要額外增加計算資源，幾乎無算法開發(fā)工作量，是未來。

注：RGB色彩模式（也翻譯為“紅綠藍(lán)”，比較少用）是工業(yè)界的一種顏色標(biāo)準(zhǔn)，是通過對紅(Red)、綠(Green)、藍(lán)(Blue)三個顏色通道的變化以及它們相互之間的疊加來得到各式各樣的顏色的，RGB即是代表紅、綠、藍(lán)三個通道的顏色，這個標(biāo)準(zhǔn)幾乎包括了人類視力所能感知的所有顏色，是運(yùn)用最廣的顏色系統(tǒng)之一。

#02  

OMS系統(tǒng)介紹

DMS還可以升級為OMS-即車內(nèi)人員監(jiān)控系統(tǒng)，攝像頭不僅可以對駕駛員的狀態(tài)進(jìn)行跟蹤，包括駕駛員疲勞的一些提醒，甚至還可以對后排乘客進(jìn)行跟蹤，以滿足相關(guān)乘車需求。OMS傳感方案包括五種，分別是攝像頭、毫米波、超聲波、壓力傳感器和生物特征傳感器。目前，OMS主流傳感方案為1*OMS攝像頭（占比高）或1*毫米波雷達(dá)。在座艙感知方案中，諸如毫米波雷達(dá)等感知方案可以作為視覺方案的補(bǔ)充，能夠有效降低隱私侵犯和泄露風(fēng)險，主要用于座艙OMS系統(tǒng)的生命體征檢測，目前國內(nèi)已有多家車企搭載了該種方案。

座艙生命體檢測方案

一、OMS典型方案介紹

1、基于視覺感知技術(shù)的DMS駕駛員監(jiān)控系統(tǒng)與OMS乘客監(jiān)控系統(tǒng)具有明顯的成本優(yōu)勢。

實(shí)現(xiàn)功能

在配套的艙內(nèi)攝像頭部分，目前，在前裝市場，艙內(nèi)視覺方案的主要攝像頭配置有幾種類型：

（1）單攝像頭方案，大多數(shù)集成在駕駛員側(cè)的A柱或方向盤，功能主要是人臉識別（包括發(fā)動機(jī)啟動、車機(jī)系統(tǒng)進(jìn)入以及座椅個性化調(diào)節(jié)等）和疲勞分心監(jiān)測。

另一種則是集成在內(nèi)后視鏡位置，除了服務(wù)駕駛員，還可以額外提供乘員監(jiān)控功能（車內(nèi)行車記錄功能），甚至包括兒童／遺留物檢測、安全帶檢測和識別特定乘客等功能。

（2）雙／三攝像頭方案，分別位于A柱、內(nèi)后視鏡以及車頂位置，負(fù)責(zé)不同功能的實(shí)現(xiàn)。

（3）大部分用于檢測駕駛員疲勞的駕駛員監(jiān)測系統(tǒng)均采用成本較低的傳統(tǒng)2D可見光攝像頭（配合IR紅外LED）。3D—ToF傳感器也開始進(jìn)入前裝（比如，首發(fā)搭載理想L9），從而增強(qiáng)座艙監(jiān)控系統(tǒng)魯棒性，實(shí)現(xiàn)惡劣的光照條件下捕捉深度和紅外圖像。

主機(jī)廠車型IMS裝配情況

 攝像頭安裝位置示意圖

同時，在整體系統(tǒng)方案方面，主要形態(tài)包括基于攝像頭和獨(dú)立控制單元，或攝像頭＋集成座艙車機(jī)／域控制器解決方案。供應(yīng)商方面，有底層感知算法供應(yīng)商、軟件Tier1以及硬件Tier1等不同角色。

虹軟科技通過視覺，可以實(shí)現(xiàn)的OMS功能有：

• 乘客占位和屬性檢測：實(shí)時統(tǒng)計車內(nèi)人員數(shù)量，準(zhǔn)確標(biāo)識乘客入座位置，幫助掌握車輛載客情況。精準(zhǔn)識別年齡、性別、情緒等多種人臉屬性信息，分析乘客面部表情，有效規(guī)避司乘沖突。

• 遺留物品檢測：實(shí)時檢測艙內(nèi)后座畫面，結(jié)合下車信號有效分析乘客隨身物品的遺留情況，并根據(jù)業(yè)務(wù)策略給予告警系統(tǒng)?？删珳?zhǔn)檢測手機(jī)、錢包、女士手袋等數(shù)十種隨身物品，且支持一站式自定義物體品類訓(xùn)練。

• 遺留兒童檢測：實(shí)時監(jiān)測艙內(nèi)后座區(qū)域，結(jié)合下車信號精準(zhǔn)判斷后座區(qū)域是否存在兒童遺留，并根據(jù)業(yè)務(wù)策略將兒童感知數(shù)據(jù)傳輸至告警系統(tǒng)，全面保障乘客的出行安全。

• 遺留寵物檢測：準(zhǔn)確分析后座區(qū)域是否存在活體寵物遺留，并根據(jù)業(yè)務(wù)策略及時發(fā)送預(yù)警信息；支持識別多品種寵物貓和寵物狗，能有效抵御毛絨玩具等假體攻擊。

2、毫米波雷達(dá)OMS方案在一些主機(jī)廠中已經(jīng)得到應(yīng)用，在某些場景下（如遺留兒童監(jiān)測），攝像頭的監(jiān)控范圍易受安裝位置、視線范圍等條件影響，較難做到精準(zhǔn)無誤監(jiān)測與警報。而雷達(dá)傳感器（包括毫米波雷達(dá)、超聲波雷達(dá)、UWB雷達(dá)）具有穿透固體物質(zhì)的能力，可以更精確地檢測無人照管的兒童、監(jiān)測乘員狀態(tài)、預(yù)估駕駛員的生命體征，在艙內(nèi)監(jiān)控中的應(yīng)用有望擴(kuò)大。其中森思泰克的STA60-4/STA79-4車內(nèi)成員檢測雷達(dá)方案較為成熟，STA60-4和STA79-4車內(nèi)成員檢測雷達(dá)是由森思泰克自主研發(fā)的兩款基于60GHz和79GHz毫米波技術(shù)的雷達(dá)產(chǎn)品。兩款雷達(dá)工作頻率不同，可滿足不同國家法規(guī)差異化的要求。兩雷達(dá)功能相同，均可檢測車中指定區(qū)域內(nèi)有無活體目標(biāo)，尤其是后排遺留兒童檢測，具有性能高、體積小、重量輕等特點(diǎn)。

森思泰克方案圖

STA60-4/STA79-4車內(nèi)成員檢測雷達(dá)一般安裝在汽車天窗附近，隱藏在頂棚內(nèi)部。當(dāng)車輛駐停后，雷達(dá)可自動檢測車內(nèi)后排座椅上的目標(biāo)信息，一旦發(fā)現(xiàn)存在滯留兒童，迅速發(fā)出報警信號，同時還可以啟動通風(fēng)系統(tǒng)等輔助救助裝置，從而達(dá)到保障乘車兒童人身安全的目的。

森思泰克雷達(dá)參數(shù)指標(biāo)

楚航科技車規(guī)級平臺研發(fā)生產(chǎn)的60GHz生命體征探測雷達(dá)，采用3發(fā)4收天線通道，可覆蓋車內(nèi)全區(qū)域，體積小，低成本，低功耗，< 1%誤報率與0漏報率，可實(shí)現(xiàn)ROA第二排占位探測與第三排活體探測, DMS駕駛員心跳呼吸檢測。

楚航科技方案參數(shù)指標(biāo)

應(yīng)用場景：

• ROA系統(tǒng)

  1. ROA（rear occupant alert）后排占位檢測系統(tǒng)毫米波雷達(dá)安裝在車頂可感知整個座艙區(qū)域、探測目標(biāo)并對其進(jìn)行高精度分類和生物特征的監(jiān)測，監(jiān)測車內(nèi)人數(shù)。

• 2. CPD（children present detection）兒童存在探測功能防止兒童以及寵物被遺留在車內(nèi)而發(fā)生意外，一旦有兒童被遺留在車內(nèi)，系統(tǒng)會輸出報警信息給駕駛員。

  3. SOD（seat occupancy detection）占位檢測功能可以探測到車內(nèi)哪個位置被占用，并可輸出占用信息給車輛，該信息可作為其他功能的二次開發(fā)依據(jù)。

• DMS系統(tǒng)

  1. DMS（driver monitoring system）駕駛員監(jiān)控系統(tǒng)駕駛員呼吸、心跳監(jiān)測 駕駛員生命體征異常報警

  2. 安全氣囊優(yōu)化毫米波雷達(dá)成像可評估身體大小，識別成人還是兒童，以優(yōu)化安全氣囊的部署。

小結(jié)：

1. 艙內(nèi)監(jiān)測的主流傳感器技術(shù)是 （DMS） 2D 紅外攝像頭。3D TOF傳感器應(yīng)用較少，可實(shí)現(xiàn)手勢識別、游戲等娛樂和其他功能。

2. 系統(tǒng)OMS功能及整個座艙監(jiān)控IMS采用毫米波雷達(dá)或其他傳感器解決方案作為視覺解決方案的補(bǔ)充。