駕駛員分心檢測系統的制作方法
【專利摘要】描述了用于確定并響應駕駛員分心的實施方案。車輛的實例車載計算系統包括將車載計算系統通信連接至移動裝置的外部裝置接口、將所述車載計算系統通信連接至所述車輛的一個或多個車輛系統的車輛間系統通信模塊、處理器和存儲可供所述處理器執行以從所述移動裝置接收圖像數據并基于所述接收的圖像數據確定駕駛員狀態的指令的存儲裝置。所述指令還可執行以從所述車輛系統中的一個或多個接收車輛數據、基于所述車輛數據確定車輛狀態、基于所述駕駛員狀態和所述車輛狀態確定分心嚴重程度水平且基于所述分心嚴重程度水平控制所述車輛的一個或多個裝置實施所選擇動作。
【專利說明】
駕駛員分心檢測系統
技術領域
[0001]本發明涉及基于可穿戴裝置和其它傳感器的輸出評估駕駛員分心。
[0002]發明背景
[0003]分心駕駛可包括可使個人注意力從主要駕駛任務轉移開的任何活動。所有分心均會危及駕駛員、乘客和旁人安全并可增加機動車碰撞的機會。一些分心類型包括視覺分心， 此時駕駛員會將其眼睛從道路移開;行為分心，此時駕駛員會將其手從方向盤移開;和認知分心，此時駕駛員會將其注意力從駕駛移開。分心的嚴重程度可取決于這些分心的水平和持續時間且可受外部因素例如車輛速度和位置及在車輛路徑上的物體所影響。發明概要
[0004]描述了用于確定并響應駕駛員分心的實施方案。車輛的實例車載計算系統包括將車載計算系統通信連接至移動裝置的外部裝置接口、將車載計算系統通信連接至車輛的一個或多個車輛系統的車輛間系統通信模塊、處理器和存儲可供處理器執行的指令以從移動裝置經由外部裝置接口接收圖像數據的存儲裝置，所述圖像數據對駕駛員和駕駛員環境成像，并基于所接收的圖像數據確定駕駛員狀態。所述指令還可執行以響應確定指示駕駛員分心的駕駛員狀態、從車輛系統中的一個或多個經由車輛間系統通信模塊接收車輛數據、 基于所述車輛數據確定車輛狀態、基于所述駕駛員狀態和所述車輛狀態確定分心嚴重程度水平并基于所述分心嚴重程度水平控制車輛的一個或多個裝置以實施所選擇動作。
[0005]確定駕駛員分心的實例方法包括從可穿戴裝置接收駕駛員數據，所述駕駛員數據包括來自面向駕駛員照相機的圖像數據;從所述可穿戴裝置和所述車輛中的至少一個的一個或多個成像裝置接收物體數據，所述物體數據包括車輛環境的圖像數據;和從一個或多個車輛系統接收車輛數據，所述車輛數據包括車輛操作條件的指示。所述實例方法還包括通過將所述駕駛員數據與所述物體數據關聯確定駕駛員是否分心、對確定駕駛員分心作出響應、基于將所述駕駛員數據與所述物體數據和所述車輛數據關聯選擇動作并實施所選擇動作;和對確定駕駛員未被分心作出響應，維持當前操作參數。
[0006]實例分心監測系統包括可穿戴裝置，其包括面向駕駛員照相機、面向外照相機和一個或多個傳感器;通信連接至所述可穿戴裝置和一個或多個車輛系統的車載計算系統， 所述車載計算系統包括第一處理器和第一存儲裝置;和遠離所述車載計算系統且經由網絡通信連接至所述車載計算系統的云計算裝置，所述云計算裝置包括第二處理器和第二存儲裝置。所述第一存儲裝置和所述第二存儲裝置中的一個或多個存儲可由所述第一處理器和所述第二處理器中的相應一個或多個執行的第一指令以從所述面向駕駛員照相機接收圖像數據和從所述可穿戴裝置的一個或多個傳感器接收指示駕駛員狀態的傳感器數據，從所述可穿戴裝置的面向外照相機接收指示一個或多個物體的物體狀態的圖像數據，從一個或多個車輛系統接收指示車輛狀態的車輛數據，并基于所指示駕駛員狀態、物體狀態和車輛狀態選擇需實施的動作。所述第一存儲裝置可存儲可由所述第一處理器執行的第二指令以將命令發送給車載計算系統的顯示裝置、車輛的音頻裝置和車輛的發動機控制單元中的一個或多個來實施所選擇的動作。
[0007]附圖簡述
[0008]通過閱讀以下非限制實施方案的描述并參考附圖可以更好地理解本發明，其中:
[0009]圖1示出根據本發明一個或多個實施方案的車廂的實例局部視圖；
[0010]圖2是示出根據本發明一個或多個實施方案的實例車載計算系統；
[0011]圖3A示出根據本發明一個或多個實施方案的實例分心確定系統的方塊圖；
[0012]圖3B示出根據本發明一個或多個實施方案的實例分心確定系統的方塊圖；
[0013]圖4是根據本發明一個或多個實施方案基于來自頭部單元視場計算的嚴重程度等級范圍生成警告的實例方法的流程圖；
[0014]圖5是根據本發明一個或多個實施方案確定駕駛員分心水平的實例方法的流程圖；
[0015]圖6是根據本發明一個或多個實施方案確定分心嚴重程度等級的實例方法的流程圖；
[0016]圖7示出根據本發明一個或多個實施方案將嚴重程度等級R映射至駕駛員狀態和車輛條件的實例表。
[0017]圖8是根據本發明一個或多個實施方案響應實例駕駛員狀態和車輛條件確定需實施動作的實例方法的流程圖；且
[0018]圖9是根據本發明一個或多個實施方案響應實例駕駛員狀態、物體狀態和車輛條件確定需實施動作的實例方法的流程圖。【具體實施方式】
[0019]如上所述，駕駛員分心可危及車輛使用者以及車輛附近人員。然而，僅僅通過監測駕駛員狀態或僅僅通過監測駕駛員的少數分心相關行為，有可能提供對分心駕駛員的不適當響應。例如，如果駕駛員正在打瞌睡，視覺警告可能不足以糾正分心行為。作為另一實例， 如果駕駛員僅僅是望向路旁但車輛路徑上無物體，那么針對駕駛員分心的響亮音頻警告是不必要的而且會驚嚇駕駛員，導致駕駛員喪失車輛的控制。不僅監測駕駛員分心水平，而且還及時地有效響應這類分心的分心監測系統可以解決分心駕駛問題和這類駕駛所造成的重大交通安全性問題。
[0020]因此，本發明提供一種分心監測系統，其包括車載計算系統和云計算裝置中的一個或多個，所述裝置從可穿戴裝置和/或其它傳感器裝置接收傳感器數據以確定駕駛員狀態和車輛環境中的物體的狀態。所述車載計算系統和/或云計算裝置還可從車輛系統接收數據以確定車輛狀態。通過關聯駕駛員、物體和車輛狀態，所述分心監測系統可首先確定駕駛員是否分心，并隨后確定那個分心的嚴重程度。所述分心監測系統可實施不同動作(例如提供視覺警報、提供音頻警報和/或實施車輛控制)以響應不同水平的分心嚴重程度，因為不同類型的分心可從不同類型的警告/響應獲益。如此一來，可以基于不同類型數據的智能組合按合適方式將分心告知駕駛員。
[0021]圖1示出通信系統的一類環境的實例局部視圖:車輛102的車廂100的內部，其中可乘坐駕駛員和/或一名或多名乘客。圖1的車輛102可以是包括驅動輪(未示出)和內燃發動機104的機動車輛。內燃發動機104可包括一個或多個燃燒室，其可經由進氣通道接收進入空氣并經由排氣通道排出燃燒氣體。在其它類型車輛中，車輛102可以是公路汽車。在一些實例中，車輛102可以包括混合推進系統，其包括可操作以從車輛運動和/或發動機吸收能量并將所吸收能量轉換為適合能量存儲裝置存儲的能量形式的能量轉換裝置。車輛102可包括全電動車輛，其合并了燃料電池、太陽能捕捉元件和/或用于給車輛供能的其它能量存儲系統。[〇〇22]如圖所示，儀表面板106可包括可供車輛102的駕駛員(還稱為用戶)訪問的各種顯示器和控件。例如，儀表面板106可包括車載計算系統109的觸摸屏108(例如信息娛樂系統)、音頻系統控制面板和儀表組110。雖然圖1所示實例系統包括可經由車載計算系統109 的用戶界面實施的音頻系統控件，如不具有獨立音頻系統控制面板的觸摸屏108,但在其它實施方案中，車輛可包括音頻系統控制面板，其可包括用于常見車輛音頻系統(如廣播、光盤播放機、MP3播放機等)的控件。所述音頻系統控件可包括用于經由車輛揚聲器系統的揚聲器112控制音頻輸出的一個或多個方面的部件。例如，所述車載計算系統或所述音頻系統控件可控制音頻輸出的音量、車輛揚聲器系統的各個揚聲器的聲音分布、音頻信號的均衡和/或音頻輸出的任何其它方面。在其它實例中，車載計算系統109可基于直接經由觸摸屏 108接收的用戶輸入或基于經由外部裝置150和/或移動裝置128接收的關于用戶的數據(如物理狀態和/或用戶環境)調節無線電臺選擇、播放列表選擇、音頻輸出源(例如無線電或CD 或MP3)等。[〇〇23]在一些實施方案中，車載計算系統109的一個或多個硬件元件如觸摸屏108、顯示屏、各種控制轉盤、旋鈕和按鈕、存儲器、處理器和任何接口元件(例如連接器或端口)可形成安裝于車輛的儀表面板106中的集成頭部單元。所述頭部單元可牢固或可拆除地附接于儀表面板106中。在其它或替代實施方案中，車載計算系統的一個或多個硬件元件可以呈模塊化且可安裝于車輛的多個位置。
[0024]車廂100可包括用于監測車輛、用戶和/或環境的一個或多個傳感器。例如，車廂 100可包括被配置以測定施加于座位的壓力從而確定用戶存在的一個或多個座位安置壓力傳感器、被配置以監測車門活動的車門傳感器、測定車廂濕度的濕度傳感器、以語音命令形式接收用戶輸入、支持用戶進行電話呼叫和/或測定車廂1〇〇中的環境噪音的麥克風等。應理解上述傳感器和/或一個或多個額外或替代傳感器可安置于車輛的任何合適位置。例如， 傳感器可安置于發動機房中、車廂的外表面上和/或其它合適位置用于提供關于車輛操作、 車輛環境條件、車輛用戶等信息。關于車輛環境條件、車輛狀態或車輛駕駛員的信息還可從車輛外部/與車輛分離(即不構成車輛系統的一部分)的傳感器，如從耦接至外部裝置150 和/或移動裝置128的傳感器接收。
[0025]車廂100還可包括在行駛之前、期間和/或之后存放在車輛中的一個或多個用戶物體，如移動裝置128。所述移動裝置可包括智能電話、平板電腦、膝上型計算機、便攜式媒體播放器和/或任何合適移動計算裝置。所述移動裝置128可經由通信鏈路130連接至車載計算系統。所述通信鏈路130可以是有線(例如經由通用串行總線[USB]、移動高清晰度鏈路 [MHL]、高清晰度多媒體接口 [HDMI]、以太網等)或無線(例如經由藍牙、W1-F1、近場通信 [NFC]、蜂窩連接等)且被配置以在移動裝置與車載計算系統之間提供雙向通信。例如，通信鏈路130可將來自各個車輛系統(如車輛音頻系統、氣候控制系統等)和觸摸屏108的傳感器和/或控制信號提供給移動裝置128且可將來自移動裝置128的控制和/或顯示信號提供給車載系統和觸摸屏108。所述通信鏈路130還可將來自車載能源的能量提供給移動裝置128 以給移動裝置的內置電池充電。
[0026]車載計算系統109還可通信耦接至供用戶操作和/或訪問但位于車輛102外部的其它裝置，如一個或多個外部裝置150。在所描繪的實施方案中，外部裝置150位于車輛102外偵L但將明白在其它實施方案中，外部裝置可位于車廂100內側。所述外部裝置可包括服務器計算系統、個人計算系統、便攜式電子裝置、電子腕帶、電子頭帶、便攜式音樂播放器、電子活動跟蹤裝置、計步器、智能手表、GPS系統等。外部裝置150可經由可以是有線或無線(如參考通信鏈路130所論述)且被配置以在外部裝置與車載計算系統之間提供雙向通信的通信鏈路136連接至車載計算系統。例如，外部裝置150可包括一個或多個傳感器且通信鏈路 136可將來自外部裝置150的傳感器輸出發送至車載計算系統109和觸摸屏108。外部裝置 150還可存儲和/或接收關于文本數據、用戶行為/偏好、操作規則等的信息且可將這類信息從外部裝置150發送至車載計算系統109和觸摸屏108。
[0027]車載計算系統109可分析從外部裝置150、移動裝置128和/或其它輸入源接收的輸入并選擇各個車載系統(如氣候控制系統或音頻系統)的設置、經由觸摸屏108和/或揚聲器 112提供輸出、與移動裝置128和/或外部裝置150通信和/或基于評估實施其它動作。在一些實施方案中，所有或一部分評估可由移動裝置128和/或外部裝置150實施。
[0028]在一些實施方案中，外部裝置150中的一個或多個可經由移動裝置128和/或外部裝置150中的另一個間接通信耦接至車載計算系統109。例如，通信鏈路136可將外部裝置 150通信耦接至移動裝置128以將來自外部裝置150的輸出中繼到移動裝置128。隨后可在移動裝置128將從外部裝置150接收的數據與移動裝置128所收集的數據集合，隨后經由通信鏈路130將集合數據發送至車載計算系統109和觸摸屏108。類似數據集合可發生在服務器系統且隨后經由通信鏈路136/130發送至車載計算系統109和觸摸屏108。
[0029]在圖1圖示的實例環境中，所述車載計算系統109可經由任何合適網絡連接至一個或多個車輛系統，如揚聲器112、顯不器108、車輛傳感器和/或其它合適車輛系統。在一些實例中，所述車載計算系統109包括被配置以經由網絡將音頻/視頻數據發送至收聽裝置如揚聲器112和顯示器108的送話裝置。網絡可根據開放式系統互連(0SI)模塊的層2配置，其中在網絡中的路由和轉發決定或判定可基于媒體訪問控制(MAC)尋址方式實施。實例層2網絡可以是以太網音頻/視頻橋接(AVB)網絡。對于被配置成AVB網絡的層2網絡來說，送話器和收聽器可被配置以在AVB網絡上利用各種AVB標準和協議通信，包括用于網絡定時和同步的電氣和電子工程師協會(IEEE)802.1AS-2011(gPTP)、用于排隊和轉發流化數據的IEEE 802.1Q-2011條款34、用于保留網絡連接或路徑和/或資源如網絡連接的通信帶寬的IEEE 802.1Q-2011條款35(流保留協議(SRP))和/或與可行數據流化格式相關的IEEE 1722-2011。可另外或替代地使用其它AVB相關標準和協議和/或先前、現用或后續開發的AVB標準和協議的其它版本。
[0030]應理解圖1描繪了一種實例環境，然而本文所描述的通信系統和方法可用于任何合適環境。可將發送和/或接收信息、感測數據和/或以其它方式幫助駕駛員分心檢測和/或警報系統的任何合適裝置用作本文所描述的系統和/或用于實施本文所描述的方法。
[0031]圖2示出被配置和/或集成在車輛201內的車載計算系統200的方塊圖。車載計算系統200可以是圖1車載計算系統109的實例和/或可實施在本文一些實施方案中所描述的方法中的一個或多個。在一些實例中，所述車載計算系統可以是車輛信息娛樂系統，其被配置以將基于信息的媒體內容(音頻和/或視覺媒體內容，包括娛樂內容、導航服務等)提供給車輛用戶以增強操作人的車載體驗。所述車輛信息娛樂系統可包括或耦接至各種車輛系統、 子系統、硬件組件以及集成于或可集成于車輛201中以增強駕駛員和/或乘客的車載體驗的軟件應用程序和系統。[〇〇32] 車載計算系統200可包括一個或多個處理器，包括操作系統處理器214和接口處理器220。操作系統處理器214可執行車載計算系統上的操作系統并控制車載計算系統的輸入/輸出、顯示、回放和其它操作。接口處理器220可經由車輛間系統通信模塊222與車輛控制系統230介接。[〇〇33]車輛間系統通信模塊222可將數據輸出至其它車輛系統231和車輛控制元件261， 同時還例如通過車輛控制系統230從其它車輛組件和系統231、261接收數據輸入。當輸出數據時，車輛間系統通信模塊222可經由總線提供對應于任何車輛狀態、車輛周圍環境或連接至車輛的任何其它信息源的輸出的信號。車輛數據輸出可包括例如模擬信號(如當前速度)、由各個信息源(如時鐘、溫度計、位置傳感器如全球定位系統[GPS]傳感器等)提供的數字信號、通過車輛數據網絡(如可用于通信發動機相關信息的發動機控制器局域網[CAN]總線、可用于通信氣候控制相關信息的氣候控制CAN總線和供車輛中的多媒體組件之間通信多媒體數據用的多媒體數據網絡)傳播的數字信號。例如，所述車載計算系統可從發動機 CAN總線檢索由車輪傳感器估算的當前車輛速度、由車輛的電池和/或能量分配系統提供的車輛能量狀態、車輛點火狀態等。此外，在不脫離本發明精神下還可以使用其它介接方式， 如以太網。[〇〇34]在車載計算系統200中可包括非易失性存儲裝置208以按非易失形式存儲數據，如可由處理器214和處理器220執行的指令。存儲裝置208可存儲應用程序數據以支持車載計算系統200運行用于連接云服務器和/或收集傳輸至云服務器的信息的應用程序。所述應用程序可檢索由車輛系統/傳感器、輸入裝置(例如用戶界面218)、與車載計算系統通信的裝置(例如經由藍牙鏈路連接的移動裝置)等收集的信息。車載計算系統200還可包括易失性存儲器216。易失性存儲器216可以是隨機訪問存儲器(RAM)。非暫時性存儲裝置如非易失性存儲裝置208和/或易失性存儲器216可存儲指令和/或代碼，當被處理器(例如操作系統處理器214和/或接口處理器220)執行時，其控制車載計算系統200實施本發明所描述動作中的一個或多個。[〇〇35]車載計算系統200可包括麥克風202以接收來自用戶的語音命令、測定車輛中的環境噪音、根據車輛的聲學環境決定是否調諧來自車輛揚聲器的音頻等。語音處理單元204可處理語音命令，如從麥克風202接收的語音命令。在一些實施方案中，車載計算系統200還能夠接收語音命令并利用包括于車輛的音頻系統232中的麥克風對環境車輛噪音進行采樣。 [〇〇36]在車載計算系統200的傳感器子系統210中可包括一個或多個額外傳感器。例如， 傳感器子系統210可包括照相機，如輔助用戶停泊車輛的后視照相機和/或用于識別用戶 (例如利用面部認知和/或用戶姿勢)的車廂照相機。車載計算系統200的傳感器子系統210 可與各個車輛傳感器通信并接收輸入且還可接收用戶輸入。例如，由傳感器子系統210接收的輸入可包括傳動齒輪位置、傳動離合器位置、油門踏板輸入、制動輸入、傳動選擇器位置、 車輛速度、發動機速度、通過發動機的空氣流量、環境溫度、輸入空氣溫度等以及來自氣候控制系統傳感器(如熱傳遞流體溫度、防凍液溫度、風扇速度、乘客艙溫度、所需乘客艙溫度、環境濕度等)、檢測用戶所發起的語音命令的音頻傳感器、接收來自車輛鑰匙的命令且任選跟蹤其地理位置/遠近的鑰匙傳感器等的輸入。雖然某些車輛系統傳感器可與傳感器子系統210單獨通信，但其它傳感器可與傳感器子系統210和車輛控制系統230通信，或可經由車輛控制系統230間接與傳感器子系統210通信。車載計算系統200的導航子系統211可生成和/或接收導航信息，如位置信息(例如經由GPS傳感器和/或傳感器子系統210的其它傳感器)、路徑指導、交通信息、關注點(POI)識別，和/或給駕駛員提供其它導航服務。[〇〇37]車載計算系統200的外部裝置接口 212可耦接和/或與位于車輛201外部的一個或多個外部裝置240通信。雖然圖示外部裝置位于車輛201外部，但應理解它們可以暫時容置于車輛201中，如當用戶操作外部裝置同時操作車輛201時。換句話說，外部裝置240不集成于車輛201。外部裝置240可包括移動裝置242(例如經由藍牙連接)或另一種藍牙支持裝置 252。移動裝置242可以是移動電話、智能電話、可經由有線和/或無線通信與車載計算系統通信的可穿戴裝置/傳感器或其它便攜式電子裝置。其它外部裝置包括外部服務246。例如， 所述外部裝置可包括與車輛分離且位于車輛外部的車外裝置。另外其它外部裝置包括外部存儲裝置254,如固態驅動器、隨身驅動器、USB驅動器等。在不脫離本發明的范圍下，外部裝置240可無線或經由連接器與車載計算系統200通信。例如，外部裝置240可通過網絡260上的外部裝置接口 212、通用串行總線(USB)連接、直接有線連接、直接無線連接和/或其它通信鏈路與車載計算系統200通信。外部裝置接口 212可提供通信接口來支持車載計算系統與駕駛員聯系有關的移動裝置通信。例如，外部裝置接口 212可支持向駕駛員聯系有關的移動裝置建立電話呼叫和/或發送(例如，經由蜂窩通信網絡)文本消息(例如SMS、MMS等)。[〇〇38]可在移動裝置242上操作一個或多個應用程序244。作為實例，移動裝置應用程序 244可操作以集合關于用戶與移動裝置交互的用戶數據。例如，移動裝置應用程序244可集合關于用戶在移動裝置上收聽的音樂播放列表、電話呼叫日志(包括用戶接聽電話呼叫的頻率和時長)、位置信息包括用戶常去的位置和在每個位置所花費的時間量等的數據。所收集的數據可通過應用程序244經網絡260傳送至外部裝置接口 212。此外，移動裝置242可從車載計算系統200經由外部裝置接口 212接收特定用戶數據請求。所述特定數據請求可包括確定用戶所處地理位置、用戶所在位置的環境噪聲水平和/或音樂流派、用戶所在位置的環境天氣條件(溫度、濕度等)等的請求。移動裝置應用程序244可將控制指令發送給移動裝置 242的組件(例如麥克風等)或其它應用程序(例如導航應用程序)以支持將請求數據收集于移動裝置上。隨后移動裝置應用程序244可將所收集的信息中繼返回至車載計算系統200。 [0〇39]類似地，可在外部服務246上操作一個或多個應用程序248。作為實例，外部服務應用程序248可操作以集合和/或分析來自多個數據源的數據。例如，外部服務應用程序248可集合來自用戶的一個或多個社交媒體賬戶的數據、來自車載計算系統的數據(例如傳感器數據、日志文件、用戶輸入等)、來自互聯網查詢的數據(例如天氣數據、P0I數據)等。所收集的數據可傳送至另一裝置和/或供應用程序分析以確定駕駛員、車輛和環境的狀態并基于所述狀態實施動作(例如向其它裝置請求/發送數據)。
[0040]車輛控制系統230可包括用于控制不同車載功能所涉及的各個車輛系統231的方面的控件。這些可包括例如控制向車輛使用人提供音頻娛樂的車輛音頻系統232的方面、滿足車輛使用人的車輛制冷或制熱需求的氣候控制系統234的方面以及支持車輛使用人與其他人建立電信連接的電信系統236的方面。
[0041]音頻系統232可包括一個或多個聲學再現裝置，包括電磁換能器如揚聲器。車輛音頻系統232可通過如包括功率放大器而為無源或有源的。在一些實例中，車載計算系統200 可以是聲學再現裝置的唯一音頻源或可以存在連接至音頻再現系統的其它音頻源(例如外部裝置如移動電話)。任何這種外部裝置對音頻再現裝置的連接可以是模擬、數字或數字與模擬技術的任何組合。[〇〇42]氣候控制系統234可被配置以在車輛201的車廂或乘客艙內提供舒適環境。氣候控制系統234包括支持控制通風的組件，如通氣口、加熱器、空氣調節器、集成加熱器與空氣調節器系統等。鏈接至加熱與空氣調節設備的其它組件可包括能夠清潔擋風板的擋風除霜與除霧系統和用于清潔經新風入口進入乘客艙的外側空氣的通風空氣過濾器。[〇〇43]車輛控制系統230還可包括用于調節與發動機和/或車輛車廂內的附屬元件相關的各個車輛空間261 (或車輛系統控制元件)的設置的控件，如方向盤控件262(方向盤安置的音頻系統控件、巡航控件、擋風刮條控件、頭燈控件、轉向信號燈控件等)、儀表面板控件、 麥克風、加速器/制動/離合器踏板、換擋器、安置于駕駛員或乘客車門的門/窗控件、座位控件、車廂燈控件、音頻系統控件、車廂溫度控件等。車輛控件261還可包括內部發動機和車輛操作控件(例如發動機控制器模塊、致動器、閥門等)，其被配置以經由車輛的CAN總線接收指令來改變發動機、排氣系統、傳動和/或其它車輛系統中的一個或多個的操作。所述控制信號還可控制車輛音頻系統232的一個或多個揚聲器的音頻輸出。例如，控制信號可調節音頻輸出特性如音量、均衡、音頻圖像(例如產生從一個或多個確定位置呈現給用戶的音頻輸出的音頻信號的配置)、多個揚聲器的音頻分布等。類似地，控制信號可控制氣候控制系統 234的通風、空調調節器和/或加熱器。例如，控制信號可增大向車廂特定部分的冷空氣遞送。
[0044]安置于車輛外側的控制元件(例如安全系統的控件)還可例如經由通信模塊222連接至計算系統200。車輛控制系統的控制元件可實體且永久地安置于車輛上和/或中用于接收用戶輸入。除了接收來自車載計算系統200的控制指令外，車輛控制系統230還可接收來自由用戶操作的一個或多個外部裝置240,如來自移動裝置242的輸入。這允許基于從外部裝置240接收的用戶輸入控制車輛系統231和車輛控件261的方面。[〇〇45]車載計算系統200還可包括天線206。天線206示出為單個天線，但在一些實施方案中可包括一個或多個天線。車載計算系統可經由天線206獲得寬帶無線互聯網接入，且還可接收廣播信號如無線電、電視、天氣、交通和類似信號。車載計算系統可經由一個或多個天線206接收定位信號如GPS信號。車載計算系統還可經由RF如經由天線206或經由紅外或其它方式通過適當接收裝置接收無線命令。在一些實施方案中，天線206可構成音頻系統232 或電信系統236的一部分。此外，天線206可將AM/FM無線電信號經由外部裝置接口 212提供給外部裝置240(如給移動裝置242)。
[0046]用戶可經由用戶界面218控制車載計算系統200的一個或多個元件。用戶界面218 可包括呈現在觸摸屏(如圖1觸摸屏108)上的圖形用戶界面和/或用戶啟動按鈕、開關、旋鈕、撥號盤、滑塊等。例如，用戶啟動元件可包括方向盤控件、門和/或窗控件、儀表面板控件、音頻系統設置、氣候控制系統設置和類似元件。用戶還可經由用戶界面218與車載計算系統200和移動裝置242的一個或多個應用程序交互。除了在用戶界面218上接收用戶的車輛設置偏好外，還可在用戶界面218上將車載控制系統所選擇的車輛設置顯示給用戶。可在用戶界面的顯示器上將通知和其它消息(例如接收的消息)以及導航輔助顯示給用戶。可經由向用戶界面的用戶輸入實施用戶偏好/信息和/或對呈現消息的響應。[〇〇47]圖3A示出分心監測系統300a的方塊圖，其包括被配置和/或集成在車輛(如圖1車輛102)內的車載計算系統(本文還稱為頭部單元)304a。分心監測系統300a還可包括移動裝置，如例如可穿戴裝置302。在一些實例實施方案中，可穿戴裝置302可包括頭置式顯示系統，其借助駕駛員鼻子和耳朵被安置于駕駛員面部。在其他或替代實例中，可穿戴裝置302 可包括智能手表或其它腕戴或體戴式計算裝置。可穿戴裝置302可另外或替代地是自含式單元，其可例如夾持于現有眼鏡框架或另一附件上。雖然圖3A只示出一個可穿戴裝置302， 但應理解在分心監測系統300a中可包括任何數量的可穿戴或其它移動裝置。
[0048]可穿戴裝置302可與麥克風配合以檢測車輛環境內的音頻信號且可包括其它傳感器如生物計量傳感器、出汗水平傳感器、體溫、心電圖、血糖儀、血壓、肌肉傳感器、天氣傳感器等。可穿戴裝置302可另外包括多個照相機，其中一個或多個照相機向內面向穿戴所述裝置的駕駛員(內向或面向駕駛員照相機)，且一個或多個照相機面向駕駛員/車輛的外側(面向前或面向外照相機)。可穿戴裝置302中的面向駕駛員照相機可監測駕駛員在車輛內時的運動且面向前照相機可捕捉車輛周圍環境(例如車輛環境，其可包括車輛的車廂和/或車輛外部周圍的區域)的圖像。還可裝備可穿戴裝置302的照相機以捕捉原始靜態和/或動作圖像幀且可穿戴裝置302能夠經W1-Fi (例如向頭部單元304a的W1-Fi接口 310)、藍牙(例如向頭部單元的藍牙接口 312)和/或任何其它合適通信機構向頭部單元304流化原始圖像幀和/ 或壓縮視頻圖像。[〇〇49] 在圖3A所示實施方案中的頭部單元304可包括W1-Fi接口 310、藍牙接口 312、視頻解壓器314、分心分析塊306、分心嚴重程度分析塊308、顯示子系統316、音頻子系統318和控制器局域網(CAN)接口 320。分心分析塊306可包括用于實施視頻場景分析、視頻增強、視頻修正、動作分析和/或任何其它合適數據處理和分析以確定駕駛員是否分心的指令。
[0050]在操作中，來自可穿戴裝置302的任何原始視頻信號可被頭部單元304a中的W1-Fi 接口 310和/或藍牙接口 312接收并傳遞至分心分析塊306。任何壓縮視頻信號可經由頭部單元304a中的W1-Fi接口 310和/或藍牙接口 312接收并隨后在視頻解壓器單元314中解壓。在一些實例中，由于相對于未壓縮/原始數據的帶寬用量減少，壓縮視頻信號可經由藍牙發送。[〇〇51]分心分析塊306所接收的數據可在圖像修正單元進行修正，如視頻穩像。作為實例，道路顛簸可導致信號振動、模糊或失真。作為實例，圖像修正單元可針對水平和/或豎直振動穩定圖像，和/或可對平移、旋轉和/或縮放進行修正。分心分析塊306的視頻增強單元可在光照不良或高壓縮情況下實施額外增強。視頻處理和增強可包括y修正、去霧和/或去模糊，且視頻處理增強算法可操作以減小對比度增強技術如色調映射、直方圖拉伸和均衡及Y修正所造成的低光照視頻輸入噪聲從而修復低光照視頻的視覺信息。分心分析塊306 的視頻場景分析單元可識別來自可穿戴裝置302的視頻內容，其還可用于分心嚴重程度分析塊306。視頻順序分析可涉及大范圍的技術，從低水平內容分析如特征提取、結構分析、物體檢測和跟蹤到高層語義分析如場景分析、事件檢測和視頻挖掘。例如，通過識別輸入視頻信號的內容，可確定車輛處于高速公路或是在城市限區內、道路上是否存在任何行人、動物或其它物體/障礙物等。動作分析單元可確定自我動作和在車輛路徑中的物體的動作。自我動作估算包括估算車輛相對于從車輛本身觀察到的道路或街道標志上的線條的移動位置且可通過分析有關照相機圖像加以確定。通過在實施圖像分析(例如視頻場景分析、動作分析等)之前或同時實施圖像處理(例如，圖像修正、視頻增強等)，可按照針對所實施的分析類型予以優化的合適方式制備圖像數據。例如，減小模糊的圖像修正可通過清除用于物體識別的邊緣線外觀而允許更準確地實施視頻場景分析。
[0052]在信號進行如上所述的處理和分析后，分心嚴重程度分析塊308可接收分心分析塊306的輸出且可利用從頭部單元304a的控制器局域網(CAN)接口 320獲得的其它參數如車輛速度、車輛照明(內部和/或外部)和車輛位置估算分心的嚴重程度。嚴重程度分級可取決于駕駛員的分心水平。駕駛員分心的一些實例包括駕駛員在駕駛時長時間不望向道路、駕駛員在即將轉彎時不望向道路、駕駛員被音樂分心等。其它實例可包括駕駛員長時間段操作(例如提供用戶輸入至)信息單元而被分心、駕駛員困乏或疲倦和/或其它駕駛員狀態。一旦確定駕駛員分心水平，分心嚴重程度分析塊308確定嚴重程度分級R。系統所實施的動作可根據分心的嚴重程度而變化。嚴重程度分級R還可取決于各種因素，如事件的危急程度和駕駛員分心的持續時間。一些實例情形和所生成的最終嚴重程度等級R示于圖7并描述于下文。[〇〇53]如果嚴重程度等級R處于第一范圍(例如為低)，那么可指示視覺警報，其可顯示于頭部單元304a的顯示子系統316中和/或向外發送至能夠給駕駛員顯示視覺警告的任何系統(例如車輛中的另一個顯示器、可穿戴裝置302上的顯示器、車輛中另一個移動裝置的顯示器等)。如果嚴重程度等級R處于第二范圍(例如中等)，那么可指示音頻警報。音頻警報信號可用于生成頭部單元304a的音頻子系統中的音頻信號或還可用于在能夠給駕駛員生成音頻警告的任何系統(例如車輛的揚聲器系統、可穿戴裝置302的揚聲器系統、車輛中另一個移動裝置的揚聲器等)中生成音頻警報。在圖3A所示的實施方案中，大部分數據處理可發生于頭部單元304a中。然而，有可能在頭部單元304a以外的系統中實施至少一些數據處理和/或分析。[〇〇54]圖3B示出可用于這一實例情形的分心監測系統300b的實例方塊圖，其中一些數據處理可發生于云計算裝置322中。圖3B中具有與圖3A相應元件的相同數字的元件在所有方面類似于圖3A中所描述的那些元件，除了在云計算裝置322中可存在負責單元定位的其它元件來代替頭部單元304b。雖然示出為包括比圖3A的頭部單元304a少的元件，但應理解頭部單元304b可另外包括圖3A的304a中所包括的一個或多個數據處理/分析單元(例如分心分析塊306、視頻解壓器314和/或分心嚴重程度分析塊308)。例如，如圖3B所示的分心監測系統300b可表示當在云計算裝置322中實施實質上所有處理/分析時所使用的單元。然而， 在其它情形中，數據處理/分析可為云計算裝置322和頭部單元304b所共有。例如，來自可穿戴裝置302的數據的第一部分可由云計算裝置322處理并分析且來自可穿戴裝置302的數據的第二部分可由頭部單元304b處理并分析。在其它實例中，可由云計算裝置322和頭部單元 304b中的一個實施所有數據的某類處理和/或分析且可由云計算裝置322和頭部單元304b 中的另一個實施所有數據的某些其它類型的處理和/或分析。
[0055]可穿戴裝置302可包括能夠類似于圖3A所描述那樣流化原始或壓縮視頻圖像的多個照相機和麥克風。來自可穿戴裝置的原始圖像可經由W1-Fi接口 310和/或藍牙接口 312發送至云計算裝置322。另外或替代地，來自可穿戴裝置302的數據可經由藍牙接口 312和/或 W1-Fi接口 310發送至頭部單元304b。頭部單元304b所接收的數據可另外由視頻壓縮器324 壓縮，隨后可通過云端接口 326發送至云計算裝置322。頭部單元304b中的云端接口 326能夠與位于云計算裝置的頭部單元接口 328雙向通信。由云計算裝置中的頭部單元接口 328接收到的壓縮數據可如圖3A所解釋那樣經由視頻解壓器314進行解壓縮。類似于圖3A所示的實施方案，從W1-Fi接口 310和/或藍牙接口 312接收的數據和從視頻解壓器314接收的解壓數據(各自位于云計算裝置322)可由分心分析塊306按十分類似于如圖3A所描述的方式進行進一步處理并分析。此外，同樣位于云計算裝置322中的分心嚴重程度分析單元308可實施其它分析并生成嚴重程度分級R。取決于嚴重程度分級，可發起不同警告信號，隨后可通過頭部單元接口 328反向通信給頭部單元304b，且可如圖3A所解釋般在各個系統中生成相應敏出呂口 〇[〇〇56]圖4是操作車載計算系統基于從車輛頭部單元角度計算得到的嚴重程度等級范圍生成警告的方法400的流程圖。例如，方法400可由圖2的車載計算系統200基于移動裝置242 (例如可穿戴裝置，如圖3A和圖3B的可穿戴裝置302)的輸出實施。[〇〇57]方法400包括在402從移動裝置接收數據。在一個實例中，所述移動裝置可以是圖 3A和圖3B中描述的可穿戴裝置302。所述數據可包括來自例如面向前照相機和面向駕駛員照相機的圖像數據。具體來說，車載計算系統可以從一個或多個可穿戴裝置接收數據。車輛駕駛員所穿戴的可穿戴裝置可包括一個或多個傳感器，如生物計量傳感器、溫度傳感器、出汗水平傳感器等。[〇〇58]在404,所述方法包括處理數據，所述數據可如圖3A所描述般在頭部單元(圖3A的頭部單元304a)自身處理或可如圖3B所解釋那樣發送到云端用于進一步處理，在這種情況中，經處理的數據從云端接收返回至頭部單元(例如圖3B的頭部單元304b)。在406,所述方法包括確定駕駛員分心(正如下文將參考圖5所解釋那樣)。在408,所述方法檢查駕駛員是否分心。如果駕駛員分心，那么所述方法行進至410,在此計算嚴重程度等級R(例如基于來自各個源的數據的修正，如下文參考圖6所解釋那樣)。如果在408確定駕駛員未分心，那么所述方法返回至繼續接收圖像數據并監測駕駛員分心。[〇〇59]在412,所述方法檢查計得的嚴重程度等級R是否在第一范圍內。所述第一范圍可以是嚴重程度等級R的值，其指示駕駛員分心的嚴重程度處于相對低水平。例如，第一范圍可對應于當車輛不處于立即碰撞危險時的駕駛員分心指示、預計是短暫的駕駛員分心指示等。如果嚴重程度分級處于第一范圍內(例如在412處為“是”)，那么所述方法行進至414,在此頭部單元命令顯示裝置展示視覺警告。視覺警告可包括但不限制于顯示于抬頭顯示器或主要信息娛樂屏幕上的警告。如果嚴重程度等級R不處于第一范圍內，那么所述方法行進至 416,在此系統確定R是否處于第二范圍內。例如，第二范圍可對應于相對中等水平的駕駛員分心嚴重程度。實例中等水平嚴重程度可包括當車輛處于其它方面為安全的環境(例如在車輛的軌跡/路徑內無物體、以低速度駕駛等)時的嚴重駕駛員分心(例如，展示睡意的眼睛下垂)。如果嚴重程度等級R處于第二范圍內(例如在416處為“是”)，那么所述方法行進至 418,在此頭部單元命令音頻回放裝置展示音頻警告。在一個實例中，音頻警告可在系統的所有可用音頻區播放。如果在416處確定R不處于第二范圍內，那么所述方法行進至420,在此系統檢查R是否處于第三范圍內。第三范圍可對應于相對高水平的駕駛員分心嚴重程度。高水平駕駛員分心嚴重程度實例可包括當車輛環境中的物體處于與車輛對撞的進程(例如物體的估計軌跡與車輛的估計軌跡相交)時的任何駕駛員分心。如果嚴重程度分級R處于第三范圍內(例如在420處為“是”)，那么所述方法行進至422,在此頭部單元命令車輛系統實施發動機控制操作或其它車輛控制操作。發動機操作可包括例如自動控制車輛速度或制動 (例如無需駕駛員或其它用戶指令下實施這類車輛控制)，而其它車輛控制操作可包括例如降低多媒體相關系統音量。對于極端情況來說，在422實施的發動機控制操作可包括在無駕駛員或其它用戶介入下自動引導車輛完全停止。如果當420檢查時R不處于第三范圍內，那么所述方法返回。例如，第一范圍可對應于最低范圍的嚴重程度分級，且第二范圍可對應于較高范圍的嚴重程度分級，從剛好高于第一范圍內的最高嚴重程度分級開始。第三范圍可對應于從第二范圍最高嚴重程度等級到最大可能嚴重程度等級的嚴重程度分級范圍。因此，在所述三個范圍以外的任何嚴重程度等級可對應于低得足以放棄任何警告的嚴重程度分級。在其它實例中，在所檢查嚴重程度等級以外的嚴重程度等級可導致實施默認動作(例如音頻和/或視覺警告)。雖然圖4圖示了三個范圍，但應理解在方法400實施時可分析任何數量的范圍和相關動作類型。
[0060]圖5是處理并分析從移動裝置(例如圖3A和圖3B的可穿戴裝置302)接收的數據的方法500的流程圖且包括從移動裝置的角度進一步確定駕駛員的分心水平。在方法500的 502處，移動裝置向外發送來自移動裝置的面向駕駛員照相機的數據。在一個實例中，這可包括來自圖3A和圖3B的可穿戴裝置302的數據。面向駕駛員照相機數據可包括提供關于駕駛員頭部位置、其姿態、其眼睛位置的細節的圖像且甚至可包括諸如凝視方向、瞳孔位置等能夠基于在頭部單元(例如圖3A的頭部單元304a)和云計算裝置(例如圖3B的云計算裝置 322)中的一個或多個處實施的圖像分析確定的細節。圖像數據可發送至頭部單元和/或云端供處理并分析。在方法500的504處，移動裝置向外發送來自其它傳感器的數據。這些其它傳感器可包括一個或多個可穿戴傳感器，如生物計量傳感器、心率傳感器、溫度傳感器、出汗水平傳感器等。這個數據可發送至頭部單元和/或云端用于進一步處理并分析。在方法 500的506處，可命令移動裝置發送來自面向前照相機的數據。這個數據包括提供關于車輛外部環境的信息的數據。例如，這個數據可包括在車輛周圍的景觀、停車標志和信號燈的位置、在受關注的車輛路徑中的其它車輛、在受關注的車輛路徑中的物體、能夠基于在頭部單元和云計算裝置中的一個或多個處實施的圖像分析予以確定的物體(包括人、動物等)的圖像。這個數據再次被發送到頭部單元和/或云端。在方法500的508處，來自502、504和506的數據按下文所解釋般加以處理。[0061 ] 來自方法500的502的面向駕駛員照相機數據可在508處進行處理。在508處的數據處理可包括實施數據修正、數據增強、實施飽和水平修正、數據平滑化等。實施數據修正可包括實施針對修正圖像中的例如局部缺陷而設計的圖像處理。例如，這可包括移除圖像的極小部分，所述部分可以是被認為是錯誤或灰塵顆粒或并非實際圖像數據一部分的任何其它內容。另外，數據修正可包括亮度修正、色彩修正、光圈和曝光修正、白平衡修正等。在508 處，來自面向前照相機的數據可進行數據增強，以清晰識別駕駛員的面部特征。數據增強可包括調節例如對比度、增益、閾值等。來自502的數據還可進行飽和水平修正和平滑化。在 508實施的數據處理步驟可使得來自面向駕駛員照相機的圖像數據適合在510和512進一步分析。
[0062] 在504處發送的來自傳感器的數據可進行在508處的類似處理。如圖3A和圖3B中所描述，可穿戴裝置可包括其它傳感器，如生物計量傳感器、出汗水平傳感器等。例如生物計量傳感器或出汗水平傳感器可提供關于穿戴人的一系列實時醫學信息。出汗水平傳感器監測其在小貼片中收集的汗液，對其加以分析且還可將其用于監測體力疲勞水平并提示駕駛員例如是否過度勞累。生物計量傳感器可用于監測脈搏或心率，而且同樣可用于確定駕駛員的健康狀況。其它傳感器如體溫傳感器、心電圖、血糖儀等也可用于監測駕駛員的健康狀況。來自這些傳感器的信息可用于實時監測駕駛員的狀態，其可在508中利用各種信號處理技術進行進一步處理以從這些測定提取有用數據。[〇〇63] 來自方法500的506的面向前照相機數據可在508處加以處理。在508處的數據處理可包括如上文所解釋的實施數據修正、數據增強、實施飽和水平修正、數據平滑化等。所述數據可包括例如關于車輛軌跡、車輛路徑中的物體、車輛路徑中的物體的軌跡的信息。另夕卜，其還可包括關于即將到來的信號燈/停車標志、速度限制、學校區域/醫院區域等的信息。在508中實施的數據處理步驟使得來自面向駕駛員照相機的圖像數據適合在510和512 中進行進一步分析。[〇〇64]在502從面向駕駛員照相機接收的數據、在504來自其它傳感器的數據和在506來自面向前照相機的數據可如上文所解釋那樣在508進行處理并在510和512處進行進一步分析。例如，在508處理的來自面向駕駛員照相機的數據可用于確定例如駕駛員的面部特征。 這可包括確定例如眼皮是否長時間閉合或部分閉合。如果與歷史數據相比時，眼皮位置相比于較早時間保持閉合，那么在514可確定駕駛員分心。作為另一實例，駕駛員數據可包括頭部的位置。如果在510通過與歷史數據比較確定頭部位置持續移動(在一個實例中，這可能是由于點頭)，那么可在514確定駕駛員分心。在另一實例中，如果駕駛員數據指示駕駛員眼睛長時間望向車輛軌跡以外的方向(通過在510處與歷史數據比較獲得)，那么可在514確定駕駛員分心。[〇〇65]從504接收的來自其它傳感器的數據可包括關于例如駕駛員健康狀況或天氣條件 (作為另一實例)的信息。來自生物計量傳感器的信息可用于實時監測駕駛員的狀態，其可在514進一步用于確定駕駛員是否分心。心率或脈搏率監測器可確定心臟跳動的速率。健康成年人的心臟在平息時按每分鐘60至100次的范圍跳動，且異常高脈搏率可包括高于每分鐘100次跳動的速率。長時間快速心率可導致頭暈、目眩、眩暈、心悸、胸痛和呼吸短促。通過在510將脈搏率與歷史數據比較并在512加以分析以確定駕駛員的狀態，且還可在514用于確定駕駛員是否分心。作為另一實例，從天氣傳感器確定的天氣條件信息可用于確定駕駛條件。
[0066]從506接收的來自面向前照相機的數據可包括如上文所解釋關于車輛軌跡、車輛路徑中的物體、車輛路徑中的物體的軌跡等的信息。另外，所述數據還可包括關于即將到來的信號燈/停車標志、速度限制、學校區域/醫院區域等的信息。在512處，這個數據可通過例如實施視頻場景分析、實施動作分析、檢測物體、確定物體和車輛軌跡、比較物體和車輛軌跡和實施與歷史數據比較進行進一步分析。作為實例，如果來自面向前照相機的數據指示駕駛員處于城市限區(通過例如視頻場景分析)內且存在即將到來的停車信號燈(通過物體檢測)且行人正在穿過道路(通過物體檢測)，那么須在停車信號燈處等待穿過的行人。在 512處，可確定車輛和行人的軌跡并進一步比較且隨后可在實施圖6圖示的流程圖時加以分析以按下文參考圖6解釋那樣確定分心嚴重程度等級R。作為另一實例，如果確定車輛處于高速公路上(通過視頻場景分析)，且在鄰近車道上存在車輛(物體檢測)，同時指示燈閃爍以指示車道改變(視頻場景分析)，那么可確定所有車輛的軌跡并加以比較且隨后可在實施圖6圖示的流程圖時進行分析。在516處，可檢查駕駛員是否分心，如果是，那么方法500行進至圖6圖示的方法，如果否，方法500返回。[〇〇67]圖6是確定分心嚴重程度等級的方法600的流程圖。在方法600的602處，可檢索來自圖5的被分析數據。這個數據可包括來自面向駕駛員照相機的數據、來自其它傳感器的數據和來自面向前照相機的數據，這些數據被進一步處理并分析。在604處，可確定駕駛員分心的類型。例如，可從面向駕駛員的照相機確定駕駛員不望向車輛路徑，說明他/她可能具有視覺分心。例如，如果駕駛員正在看廣告牌或蜂窩電話，或望向車輛內的物體，那么可確定駕駛員分心。或者，駕駛員可能將其手從方向盤移開，這可通過例如面向前照相機確定， 說明駕駛員可具有動作分心。其它實例動作分心可包括駕駛員使用蜂窩電話輸入文字或撥號，或拾起可能已跌落車輛地板的物體。駕駛員可另外或替代地將其注意力從駕駛移開，說明認知分心。例如，駕駛員可在聽響亮音樂的同時點頭，這兩種行為可從面向駕駛員的照相機和移動裝置中的麥克風確定。在方法600的606處，數據可加以分析或可用于預測環境危險或風險。在一個實例中，環境危險或風險可包括在分心監測系統的頭部單元/可穿戴裝置所在的車輛前方的車輛的數量。另外或替代地，環境危險或風險可包括例如車輛是否在學校或醫院區域。環境危險或風險還可包括由天氣傳感器確定的天氣條件，且可指示例如是否正在下雨或下雪，或外側溫度是否寒冷。另外或替代地，環境風險或危險可包括確定在車輛路徑中是否存在物體，和確定物體與車輛的軌跡是否有可能相交。在方法600的608處，可確定駕駛員分心的數量。例如，駕駛員可能正在其電話上輸入文字，這可包括視覺和動作分心。在任何指定時間可存在多于一種分心，且駕駛員分心的總數可在608確定。類似地，可存在幾種環境風險或危險且在610處，可確定環境風險或危險的總數。例如，可在610處確定在車輛路徑中(或具有與車輛軌跡相交的軌跡)的物體的數量。在方法600的612處，可基于在圖6的604至610處實施的分析通過排序并計算嚴重程度等級R確定分心嚴重程度，其實例示于圖7中。排序和分級可得到整數嚴重程度等級R，其可具有映射到不同動作(例如展示視覺警報、音頻警報、實施車輛控制等)的值和/或值范圍。在614處，所述方法包括基于嚴重程度等級實施動作(例如如上文參考圖4所描述般)。[〇〇68]圖7是基于如上所述的駕駛員分心和環境風險/危險計算嚴重程度等級R的表700。 作為實例情形，如果確定駕駛員不望向前方(說明視覺分心)且車輛停在交通信號燈處，那么所分配的嚴重程度等級為低，例如即R=l。然而，如果確定駕駛員不望向前方，且車輛正在以高速接近城市內的轉彎，那么嚴重程度等級被定為高，例如R=8。作為另一實例，如果駕駛員正在使用電話，但正在使用免提且在高速公路上，那么可確定是中等嚴重程度等級， 如R = 4。然而，如果駕駛員正在使用電話，但不使用免提且正在以高速接近城市內的轉彎， 那么可確定是高嚴重程度等級，如R=8。更多實例情形和相應嚴重程度等級示于圖7中。在方法600的612處，按解釋那樣確定嚴重程度等級并排序且方法600行進至614,在此可基于如圖4所解釋的嚴重程度等級R實施適宜動作。簡而言之，如果嚴重程度等級R處于第一范圍內(即為低)，那么可向駕駛員展示視覺警告。如果嚴重程度等級R處于第二范圍內，那么可向駕駛員展示音頻警告。如果嚴重程度等級處于第三范圍內，那么可如圖4所解釋般實施發動機控制操作。應理解圖7中描述的值和情形是實例且不希望加以限制。可將任何合適動作映射到任何合適嚴重程度分級，其可映射到駕駛員狀態、物體狀態和車輛狀態的任何合適組合。[〇〇69]圖8是確定嚴重程度等級R并實施相關動作的實例方法800的流程圖。方法800可由分心監測系統如圖3A和圖3B的系統300a和系統300b實施。方法800包括在802處從照相機和傳感器接收數據，并按圖5所解釋般進一步分析數據。在804處，可確定車輛是否位于城市限區內。這可通過對從例如面向前照相機接收的數據實施視頻場景分析確定。如果車輛不位于城市限區內，那么方法800返回至802,在此系統繼續接收并分析數據。如果在方法800的 804處確定車輛位于城市限區內，那么方法800行進至806,在此可監測駕駛員數據、車輛數據和CAN(例如車輛)數據。在808處，方法800包括確定車輛速度和位置信息。例如，可從CAN 確定車輛速度信息且可從對來自面向前照相機的圖像實施的視頻場景分析確定車輛位置。 方法800的810包括檢查駕駛員是不是沒有向前看。這可通過分析來自例如面向駕駛員照相機的圖像確定。如果確定駕駛員正望向前方，那么方法800行進至802,在此其繼續如先前那樣接收并分析數據。如果在810處確定駕駛員沒有向前看，那么方法800行進至812,在此檢查車輛是否位于停止信號燈或在車庫中。如果從面向前照相機和CAN數據確定車輛位于車庫中或在停車信號燈處，那么方法800行進至818,在此可指示嚴重程度等級處于第一范圍 (低)且可向駕駛員展示視覺警告。所述視覺警告充當對駕駛員的第一水平警告，尤其是當車輛位于停車信號燈處時，指示駕駛員，希望他開始向前看。如果車輛位于車庫中，那么視覺警告可充當提醒，讓駕駛員檢查車輛是否處于例如倒車檔。替代地，駕駛員可坐在車輛中并查看例如地圖，在這種情況中，視覺警告可充當提醒，讓駕駛員關閉所述單元。在812處， 如果確定車輛不位于停車信號燈或車庫中，那么方法800行進至814,在此可將從CAN數據確定的車輛速度與閾值比較。所述閾值可從城市速度限制，結合作為實例關于交通條件的額外信息予以確定。如果車輛速度小于閾值速度，那么方法800行進至820,在此可指示嚴重程度等級處于第二范圍內(中等)，且可展示音頻警告。當展示音頻警告時，可警告駕駛員采取適當動作，在這種情況中，所述動作可以是開始向前看，以避免例如事故。如果在814處確定車輛速度不小于閾值，那么方法800行進至816,在此檢查車輛速度是否大于閾值。如果否， 那么方法800返回。如果是，那么方法800行進至822,在此可指示嚴重程度等級R處于第三范圍內(高)且可實施發動機控制動作。這可包括例如降低車輛速度。
[0070]圖9是確定一組駕駛員、物體和車輛數據的嚴重程度等級的另一個實例方法900的流程圖。例如，方法900可由圖3A和圖3B的分心監測系統300a/300b實施。在902處，所述方法包括從移動裝置接收數據。例如，如果在分心監測系統的云計算裝置(例如圖3B的云計算裝置322)實施，那么所述方法可包括從分心監測系統的頭部單元(例如圖3B的頭部單元302b) 接收壓縮數據。在904處，所述方法包括處理所接收的數據以確定車輛數據/狀態、物體數據/狀態和駕駛員數據/狀態。在906處，所述方法包括確定駕駛員是否正在使用電話。例如， 所述系統可評價駕駛員數據以確定駕駛員是否正在通話和/或評價車輛數據以確定是否檢測到電話呼叫(例如，駕駛員的電話是否通信連接至頭部單元)。如果駕駛員不在使用電話 (且如果未檢測到其它駕駛員分心)那么方法返回至繼續監測來自移動裝置的數據而不實施動作。因此，如果未檢測到分心，那么所述系統不實施基于關聯車輛、物體和駕駛員數據/ 狀態所選擇的動作。
[0071]相對地，如果確定駕駛員正在使用電話，那么所述方法行進至908以確定車輛是否位于城市限區內。如果車輛不位于城市限區內，那么所述方法行進至910以確定車輛是否位于高速道路上。如果車輛不位于高速道路上，那么可確定車輛停止和/或在固定位置，并因此駕駛員分心沒有嚴重到必須采取動作。應理解可評價其它參數如發動機狀態(例如發動機是否停止)以驗證車輛停止且遠離危險的判定。然而，如果確定車輛位于城市限區內或在高速道路上，那么方法行進至912以計算車輛和在車輛環境中成像的任何物體的軌跡。在 914處，所述方法包括確定估計軌跡是否在閾值時間內相交。例如，估計在相對鄰近時間相交的軌跡可導致比估計在相對較遠時間相交的軌跡所得到的嚴重程度分級更高的嚴重程度分級。在914處，如果軌跡在閾值時間內不相交，那么方法行進至將R設定為在第二(例如中等)范圍內的值，并在916處發送音頻警報。例如，云計算裝置可向頭部單元發送發出音頻警報的命令。[〇〇72]如果軌跡在閾值時間內相交，那么將分級設定為第三范圍(例如高)并在918處實施發動機控制。例如，云計算裝置可向頭部單元發送命令以經由CAN總線對車輛控制系統發出控制指令從而改變發動機操作條件。在916處如果指示嚴重程度分級處于第二范圍內，那么方法還包括在920處確定駕駛員是否放下電話。例如，在展示音頻警報后，系統可等待閾值時間，隨后確定駕駛員是否通過掛斷電話呼叫來響應所述警報。如果駕駛員響應警報掛斷電話呼叫，那么方法返回至繼續監測駕駛員、物體和車輛狀態。相對地，如果駕駛員未掛斷電話呼叫，那么方法行進至918以將嚴重程度分級從第二范圍升級至第三范圍。應理解在其它實例中，所述升級可以是不同類型的音頻警報(例如高音量、不同記錄音調或消息、不同頻率等)、音頻與視頻警報的組合和/或警報的任何其它合適變化。
[0073]通過關聯來自如上所述多個源的數據，本發明分心監測系統可對駕駛員分心的類型和嚴重程度提供適宜響應。如此一來，相對于只依賴一類數據驅動分心警報的系統，駕駛員更可能積極修正分心。
[0074]在一個實例中，車輛的車載計算系統包括將車載計算系統通信連接至移動裝置的外部裝置接口、將車載計算系統通信連接至車輛的一個或多個車輛系統的車輛間系統通信模塊、處理器和存儲裝置。所述存儲裝置存儲可供處理器執行的指令以經由外部裝置接口從移動裝置接收圖像數據，所述圖像數據成像駕駛員和駕駛員環境，基于所接收的圖像數據確定駕駛員狀態，并響應確定指示駕駛員分心的駕駛員狀態，經由車輛間系統通信模塊從車輛系統中的一個或多個接收車輛數據，基于車輛數據確定車輛狀態、基于駕駛員狀態和車輛狀態確定分心嚴重程度水平且基于分心嚴重程度水平控制車輛的一個或多個裝置實施所選擇動作。
[0075]在以上實例中，車載計算系統的指令可另外或替代地進一步執行以實施所選擇動作，方式為:響應在第一范圍內的分心嚴重程度水平展示視覺警告、響應在第二范圍內的分心嚴重程度水平展示音頻警告，且實施所選擇動作包括響應在第三范圍內的分心嚴重程度水平實施車輛控制警告的自動調節。[〇〇76]在以上任一實例中，車載計算系統可另外或替代地進一步包括顯示裝置，且視覺警告可另外或替代地包括經由所述顯示裝置展示的視覺警報。
[0077]在任何以上實例中，所述音頻警告可另外或替代地包括經由車輛中的一個或多個揚聲器展示的音頻警報。
[0078]在任何以上實例中，車輛控制的自動調節可另外或替代地包括發動機操作的自動調節。
[0079]在任何以上實例中，所述移動裝置可另外或替代地包括可穿戴裝置，其至少包括具有包括車輛環境的視野的面向外照相機和具有包括車輛駕駛員的視野的面向用戶照相機。
[0080]在任何以上實例中，所述指令可另外或替代地進一步執行以從頭置式裝置接收位置和動作數據、基于圖像數據和所述位置和動作數據確定駕駛員狀態并發射包含視頻數據的圖像數據，所述視頻數據包括從面向用戶照相機成像的駕駛員和從面向外照相機成像的車輛環境中的一個或多個。
[0081]在任何以上實例中，所述圖像數據可另外或替代地包括駕駛員凝視和車輛行駛路徑上的受關注物體的指示，且駕駛員狀態可另外或替代地響應確定駕駛員凝視指向受關注的一個或多個物體持續閾值時間段而指示駕駛員分心。
[0082]在另一實例中，用于車輛車載計算系統的方法包括從可穿戴裝置接收駕駛員數據，所述駕駛員數據包括來自面向駕駛員照相機的圖像數據;從可穿戴裝置和車輛中的至少一個的一個或多個成像裝置接收物體數據，所述物體數據包括車輛環境的圖像數據;從一個或多個車輛系統接收車輛數據，所述車輛數據包括車輛操作條件的指示;且通過將駕駛員數據與物體數據關聯確定駕駛員是否分心。所述方法還包括響應確定駕駛員分心，基于將駕駛員數據與物體數據和車輛數據關聯選擇動作并實施所選擇動作，和響應確定駕駛員不分心，維持當前操作參數。
[0083]在以上實例中，所述物體數據可另外或替代地包括從來自一個或多個面向外照相機的圖像數據確定的在車輛環境中的物體總數和通過比較來自一個或多個面向外照相機的多個圖像數據幀確定的在車輛環境中的每個物體的物體軌跡信息，所述物體軌跡信息指示每個物體的估計軌跡。
[0084]在以上任一實例中，車輛數據可另外或替代地包括從車輛的導航系統、可穿戴裝置的傳感器輸出和來自一個或多個面向外照相機的圖像數據中的一種或多種確定的車輛軌跡信息，所述車輛軌跡信息指示車輛的估計軌跡。
[0085]在任何以上實例中，所述方法可另外或替代地進一步包括比較每個物體的估計軌跡與車輛的估計軌跡以確定物體的估計軌跡與車輛的估計軌跡之間的相交，其中所選擇動作是基于物體的估計軌跡與車輛的估計軌跡之間的相交數目予以選擇。
[0086]在任何以上實例中，所選擇動作可另外或替代地基于車輛速度和駕駛員凝視方向進行進一步選擇。
[0087]在任何以上實例中，第一動作可另外或替代地響應確定物體中的至少一個的估計軌跡與車輛的估計軌跡相交且車輛速度低于速度閾值予以選擇，且第二動作可另外或替代地響應確定物體中的至少一個的估計軌跡與車輛的估計軌跡相交、車輛速度高于速度閾值且駕駛員凝視方向在閾值時間段內與所述至少一個物體中的每一個的當前位置相交且持續閾值持續時間予以選擇。[〇〇88]在任何以上實例中，第三動作可另外或替代地響應確定物體中的至少一個的估計軌跡與車輛的估計軌跡相交、車輛速度高于速度閾值且駕駛員凝視方向在閾值時間段內不與所述至少一個物體中的每一個的當前位置相交或持續閾值持續時間予以選擇。
[0089]在任何以上實例中，所述第一動作可另外或替代地是經由車輛中的顯示器展示的視覺警報，第二動作可另外或替代地是經由車輛中的一個或多個揚聲器展示的音頻警報， 且第三動作可另外或替代地是從車載計算系統向車輛系統發出以控制車輛的發動機操作的車輛控制命令。
[0090]在任何以上實例中，維持當前操作參數可另外或替代地包括基于將駕駛員數據與物體數據和車輛數據關聯不實施動作。
[0091]在另外一個實例中，用于識別駕駛員分心的系統包括可穿戴裝置，其包括面向駕駛員照相機、面向外照相機和一個或多個傳感器;通信連接至所述可穿戴裝置和一個或多個車輛系統的車載計算系統，所述車載計算系統包括第一處理器和第一存儲裝置;和遠離所述車載計算系統且經由網絡通信連接至所述車載計算系統的云計算裝置。所述云計算裝置包括第二處理器和第二存儲裝置，且所述第一存儲裝置和所述第二存儲裝置中的一個或多個存儲可供所述第一處理器和所述第二處理器中的相應一個或多個執行的第一指令以: 接收指示駕駛員狀態的來自可穿戴裝置的面向駕駛員照相機的圖像數據和來自一個或多個傳感器的傳感器數據、接收指示一個或多個物體的物體狀態的來自可穿戴裝置的面向外照相機的圖像數據且接收指示車輛狀態的來自一個或多個車輛系統的車輛數據。所述第一指令還可供所述第一處理器和所述第二處理器中的相應一個或多個執行以基于所指示駕駛員狀態、物體狀態和車輛狀態選擇動作。所述第一存儲裝置存儲可供所述第一處理器執行的第二指令以將命令發送給車載計算系統的顯示裝置、車輛的音頻裝置和車輛的發動機控制單元中的一個或多個以實施所選擇動作。
[0092]在以上實例中，所述車輛狀態可另外或替代地包括車輛的軌跡，所述物體狀態可另外或替代地包括所述一個或多個物體的軌跡，且所述駕駛員狀態可另外或替代地包括駕駛員凝視方向。
[0093]已出于說明和描述的目的提供了實施方案的描述。可鑒于以上描述實施或從實踐所述方法獲得對實施方案的合適修改和變化。例如，除非另外說明，否則所描述方法中的一個或多個可由合適裝置和/或裝置組合實施，如參考圖3A和圖3B描述的分心監測系統300a/ 300b、頭部單元304a/304b和/或云計算裝置322。所述方法可通過用一個或多個邏輯裝置 (例如處理器)，結合一個或多個其它硬件元件如存儲裝置、存儲器、硬件網絡接口 /天線、開關、致動器、時鐘電路等執行所存儲的指令來實施。所描述方法和相關動作還可按照除本申請描述順序以外的各種順序、平行和/或同時地實施。所描述系統具有例示屬性，且可包括其它元件和/或刪減元件。本發明的主題包括公開的各種系統和配置，和其它特征、功能和/ 或性質的所有新穎和非顯然組合和子組合。
[0094]如本申請所使用，以單數形式引述且以詞語“一”為前綴的元件或步驟應理解為不排除所述元件或步驟的復數形式，除非另外說明。此外，本發明關于“一個實施方案”或“一個實例”的陳述不希望解釋為排除同樣合并所引述特征的其它實施方案的存在性。術語“第一”、“第二”和“第三”等只用作標簽且不希望對其賓語施加數字要求或特定位置順序。以下權利要求特別指出了被認為是新穎且非顯然的來自以上公開內容的主題。
【主權項】
1.一種車輛的車載計算系統，所述車載計算系統包括:將所述車載計算系統通信連接至移動裝置的外部裝置接口；將所述車載計算系統通信連接至所述車輛的一個或多個車輛系統的車輛間系統通信 模塊；處理器;和存儲可供所述處理器執行的指令的存儲裝置，所述指令用以:經由所述外部裝置接口從所述移動裝置接收圖像數據，所述圖像數據成像駕駛員和駕 駛員環境；基于所述所接收圖像數據確定駕駛員狀態；響應確定指示駕駛員分心的駕駛員狀態:經由所述車輛間系統通信模塊從所述車輛系統中的一個或多個接收車輛數據；基于所述車輛數據確定車輛狀態；基于所述駕駛員狀態和所述車輛狀態確定分心嚴重程度水平;且 基于所述分心嚴重程度水平控制所述車輛的一個或多個裝置實施所選擇動作。2.根據權利要求1所述的車載計算系統，其中實施所選擇動作包括響應在第一范圍內的分心嚴重程度水平展示視覺警告；實施所選擇動作包括響應在第二范圍內的分心嚴重程度水平展示音頻警告;且 實施所選擇動作包括響應在第三范圍內的分心嚴重程度水平實施車輛控制警告的自 動調節。3.根據權利要求2所述的車載計算系統，其還包括顯示裝置，其中所述視覺警告包括經 由所述顯示裝置展示的視覺警報。4.根據權利要求2所述的車載計算系統，其中所述音頻警告包括經由所述車輛中的一 個或多個揚聲器展示的音頻警報。5.根據權利要求2所述的車載計算系統，其中所述車輛控制的自動調節包括發動機操 作的自動調節。6.根據權利要求1所述的車載計算系統，其中所述移動裝置包括可穿戴裝置，其至少包 括具有包括車輛環境的視野的面向外照相機和具有包括所述車輛的駕駛員的視野的面向 用戶照相機。7.根據權利要求6所述的車載計算系統，其中所述指令還可執行以從頭置式裝置接收 位置和動作數據、基于圖像數據和所述位置和動作數據確定所述駕駛員狀態并發送包含視 頻數據的圖像數據，所述視頻數據包括從所述面向用戶照相機成像的駕駛員和從所述面向 外照相機成像的車輛環境中的一個或多個。8.根據權利要求7所述的車載計算系統，其中所述圖像數據包括駕駛員凝視和在所述 車輛的行駛路徑中的受關注物體的指示，且其中，響應于確定駕駛員凝視指向一個或多個 受關注物體持續閾值時間段，該駕駛員狀態指示所述駕駛員分心。9.根據權利要求8所述的車載計算系統，其中所述圖像數據包括所述受關注物體的軌 跡的指示，且其中所述分心嚴重程度水平是基于所述受關注物體軌跡與所述車輛行駛路徑 的比較。10.—種用于車輛的車載計算系統的方法，所述方法包括:從可穿戴裝置接收駕駛員數據，所述駕駛員數據包括來自面向駕駛員照相機的圖像數 據；從所述可穿戴裝置和所述車輛中的至少一個的一個或多個成像裝置接收物體數據，所 述物體數據包括車輛環境的圖像數據；從一個或多個車輛系統接收車輛數據，所述車輛數據包括所述車輛的操作條件的指 示；通過將所述駕駛員數據與所述物體數據關聯確定駕駛員是否分心；響應確定所述駕駛員分心，基于將所述駕駛員數據與所述物體數據和所述車輛數據關 聯選擇動作并實施所選擇動作;且響應確定所述駕駛員不分心，維持當前操作參數。11.根據權利要求10所述的方法，其中所述物體數據包括:從來自所述一個或多個面向外照相機的所述圖像數據確定的在車輛環境中的物體的 總數，和通過比較來自所述一個或多個面向外照相機的多個圖像數據幀確定的在所述車輛環 境中的每個物體的物體軌跡信息，所述物體軌跡信息指示每個所述物體的估計軌跡。12.根據權利要求11所述的方法，其中所述車輛數據包括從所述車輛的導航系統、所述 可穿戴裝置的傳感器輸出和來自所述一個或多個面向外照相機的圖像數據中的一個或多 個確定的車輛軌跡信息，所述車輛軌跡信息指示所述車輛的估計軌跡。13.根據權利要求12所述的方法，其還包括比較每個所述物體的所述估計軌跡與所述 車輛的所述估計軌跡以確定所述物體估計軌跡與所述車輛的估計軌跡之間的相交，其中所 述所選擇動作是基于所述物體的估計軌跡與所述車輛的估計軌跡之間的相交次數予以選 擇。14.根據權利要求13所述的方法，其中所述所選擇動作還基于車輛速度和所述駕駛員 的凝視方向予以選擇。15.根據權利要求13所述的方法，其中第一動作是響應確定所述物體中的至少一個的 估計軌跡與所述車輛的估計軌跡相交且所述車輛速度低于速度閾值予以選擇，且第二動作 是響應確定所述物體中的至少一個的估計軌跡與所述車輛的估計軌跡相交、所述車輛速度 高于速度閾值且所述駕駛員的凝視方向在閾值時間段內與所述至少一個物體中的每一個 的當前位置相交且持續閾值持續時間予以選擇。16.根據權利要求15所述的方法，其中第三動作是響應確定所述物體中的至少一個的 估計軌跡與所述車輛的估計軌跡相交、所述車輛速度高于所述速度閾值且所述駕駛員的凝 視方向在所述閾值時間段內不與所述至少一個物體中每一個的當前位置相交或持續所述 閾值持續時間予以選擇。17.根據權利要求16所述的方法，其中所述第一動作是經由在所述車輛中的顯示器展 示的視覺警報，所述第二動作是經由在所述車輛中的一個或多個揚聲器展示的音響警報， 且所述第三動作是從所述車載計算系統向車輛系統發出以控制所述車輛的發動機操作的 車輛控制命令。18.根據權利要求10所述的方法，其中維持所述當前操作參數包括不實施基于將所述 駕駛員數據與所述物體數據和所述車輛數據關聯的動作。19.一種用于識別駕駛員分心的系統，所述系統包括:可穿戴裝置，其包括面向駕駛員照相機、面向外照相機和一個或多個傳感器；通信連接至所述可穿戴裝置和一個或多個車輛系統的車載計算系統，所述車載計算系 統包括第一處理器和第一存儲裝置;和遠離所述車載計算系統且經由網絡被通信連接至所述車載計算系統的云計算裝置，所 述云計算裝置包括第二處理器和第二存儲裝置，所述第一存儲裝置和所述第二存儲裝置中的一個或多個存儲供所述第一處理器和所 述第二處理器中的相應一個或多個執行的第一指令以:接收指示駕駛員狀態的來自所述可穿戴裝置的所述面向駕駛員照相機的圖像數據和 來自所述一個或多個傳感器的傳感器數據，接收指示一個或多個物體的物體狀態的來自所述可穿戴裝置的所述面向外照相機的 圖像數據，接收指示車輛狀態的來自一個或多個車輛系統的車輛數據，且 基于所指示駕駛員狀態、物體狀態和車輛狀態選擇待實施動作，所述第一存儲裝置存儲供所述第一處理器執行的第二指令以將命令發送給所述車載 計算系統的顯示裝置、所述車輛的音頻裝置和所述車輛的發動機控制單元中的一個或多個 以實施所述所選擇動作。20.根據權利要求19所述的系統，其中所述車輛狀態包括所述車輛的軌跡，所述物體狀 態包括所述一個或多個物體的軌跡，且所述駕駛員狀態包括所述駕駛員的凝視方向。
【文檔編號】B60W50/14GK105966405SQ201610134450
【公開日】2016年9月28日
【申請日】2016年3月10日
【發明人】V.V.哈姆皮霍利
【申請人】哈曼國際工業有限公司