Intel RealSense D435i(實(shí)感技術(shù))概覽，本文對(duì)Intel RealSense D435i 3D面部和動(dòng)作捕捉功能做簡(jiǎn)要介紹

前段時(shí)間CES的報(bào)道滿天飛，網(wǎng)上逛了幾圈，感覺(jué)料猛的還數(shù)Intel：老樹開新花，推出14nm的第五代酷睿處理器；在智能可穿戴設(shè)備及物聯(lián)網(wǎng)上雄起；RealSense實(shí)感技術(shù)開啟未來(lái)人機(jī)交互模式。之前總聽老哥講，鼠標(biāo)鍵盤這些傳統(tǒng)交互模式統(tǒng)治了二三十年，目前跟蹤識(shí)別爆火且技術(shù)趨于成熟，新的交互革命快要打響了?？碦ealSense這陣勢(shì)，估計(jì)不出三五年新的交互便會(huì)普及開來(lái)。

英特爾早在2012年左右就著重研發(fā)實(shí)感技術(shù)，當(dāng)時(shí)叫Perceptual Computing，即感知計(jì)算，并開放英特爾? 感知計(jì)算軟件開發(fā)套件 2013 版（Intel? Perceptual Computing Software Development Kit, SDK 2013），設(shè)重獎(jiǎng)舉辦因特爾感知計(jì)算挑戰(zhàn)賽，吸引眾多開發(fā)者參與。隨著技術(shù)完善與成熟，2014年初更名為RealSense，即實(shí)感技術(shù)，而后發(fā)布了新的Intel? RealSense? SDK 2014 ，同時(shí)舉行2014英特爾?RealSense?應(yīng)用挑戰(zhàn)賽。

基于此技術(shù)的應(yīng)用在IDF2014及今年CES上大放異彩。

Intel? RealSense? SDK的架構(gòu)：SDK core,I/O module和Capability modules組成整個(gè)SDK堆棧的基礎(chǔ)。SDK core管理I/O module和Capability modules同時(shí)組織并管理管線的執(zhí)行。I/O module捕獲設(shè)備的輸入數(shù)據(jù)而后發(fā)送數(shù)據(jù)到輸出設(shè)備或Capability modules。Capability modules也叫algorithm modules，主要包括各種模式檢測(cè)和識(shí)別算法（面部跟蹤和檢測(cè)、手部跟蹤、手勢(shì)識(shí)別、語(yǔ)音識(shí)別及合成等）。

各功能：手部和手指跟蹤、面部分析、語(yǔ)音識(shí)別、背景移除、目標(biāo)跟蹤、增強(qiáng)現(xiàn)實(shí)、3D掃描。

1. 手

SDK將手抽象出骨架，并從背景中剝離出來(lái)。允許在照相機(jī)的0.2–1.2米范圍內(nèi)跟蹤手上的22個(gè)點(diǎn)的位置和方向，如圖。左右手是區(qū)分的，因而可以雙手進(jìn)行交互。

手勢(shì)識(shí)別：包括靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)手勢(shì)識(shí)別。SDK中內(nèi)嵌了一系列手勢(shì)如下圖。你可以用內(nèi)嵌的這些手勢(shì)組合出新的手勢(shì)，也可以根據(jù)手骨架上那22個(gè)點(diǎn)位置創(chuàng)建出新的手勢(shì)。

動(dòng)態(tài)手勢(shì)識(shí)別：靜態(tài)手勢(shì)可以單獨(dú)使用，當(dāng)然也可以組合使用形成一定的動(dòng)作。組合時(shí)要求開始的手勢(shì)和結(jié)束的手勢(shì)都已在手勢(shì)識(shí)別系統(tǒng)中注冊(cè)。

SDK給出了一系列動(dòng)作如下：

2．臉

臉部檢測(cè)：SDK提供準(zhǔn)確的3D臉部檢測(cè)和跟蹤，且可以同時(shí)跟蹤4張人臉。每張人臉用長(zhǎng)方形來(lái)標(biāo)記，你可以獲得長(zhǎng)方形的XYZ坐標(biāo)。與2D跟蹤相比，3D頭部跟蹤在頭部運(yùn)動(dòng)方面更給力。

臉部識(shí)別：SDK提供識(shí)別特定人臉的能力。特定ID對(duì)應(yīng)注冊(cè)的特定人臉，并將此人臉的信息存儲(chǔ)到人臉庫(kù)的內(nèi)存中。如果同張人臉被注冊(cè)多次，那這張人臉被正確識(shí)別的機(jī)會(huì)將會(huì)增大。當(dāng)沒(méi)被識(shí)別的人臉出現(xiàn)時(shí)，識(shí)別模塊將與數(shù)據(jù)庫(kù)中的可能數(shù)據(jù)進(jìn)行比對(duì)，如果找到匹配則返回此人臉對(duì)應(yīng)的ID。

用戶不用擔(dān)心自己的頭像被存儲(chǔ)，因?yàn)榇鎯?chǔ)的只是算法從圖像中提取的特征的集合。

頭的運(yùn)動(dòng)：SDK提供頭部運(yùn)動(dòng)的3D方向：俯仰、左右轉(zhuǎn)動(dòng)、左右偏轉(zhuǎn)，如圖。

所以可以輕松獲得用戶頭部指向哪里。也可以以此做粗略的眼神跟蹤，下一版將會(huì)推出更精細(xì)的眼神跟蹤。

標(biāo)記點(diǎn)跟蹤：SDK提供臉部78個(gè)標(biāo)記點(diǎn)的跟蹤以提高臉部識(shí)別和分析的準(zhǔn)確度。在圖像和坐標(biāo)系中給出這78個(gè)標(biāo)記點(diǎn)的位置。臉部標(biāo)記點(diǎn)跟蹤支持頭像創(chuàng)建、臉部動(dòng)畫、擬態(tài)及簡(jiǎn)單的表情識(shí)別。可以直接用這些點(diǎn)或這些點(diǎn)的相對(duì)位置來(lái)作分析。不管你有沒(méi)有劉海、戴不戴眼鏡，這種標(biāo)記點(diǎn)跟蹤都支持。但用戶頭部在屏幕30度內(nèi)效果*好。

面部表情識(shí)別：SDK也包括更高級(jí)的面部表情識(shí)別。這使得你創(chuàng)建卡通頭像更簡(jiǎn)單。每一種表情有1到100的強(qiáng)度等級(jí)使得你做的動(dòng)畫更平滑自然。SDK中表情：

情感識(shí)別：SDK中的情感識(shí)別算法用的是2D RGB數(shù)據(jù)。情感模塊是獨(dú)立的模塊，并非臉部模塊的一部分。為保障情感識(shí)別正常工作，圖像中的人臉至少要有48×48個(gè)像素。此算法并不局限于RGB數(shù)據(jù)，灰度數(shù)據(jù)同樣可行。利用SDK，你可以檢測(cè)并估計(jì)以下六種原始情感的強(qiáng)度。

頭像控制：SDK通過(guò)結(jié)合面部表情及78個(gè)標(biāo)記點(diǎn)提供簡(jiǎn)單的頭像控制功能。SDK提供動(dòng)畫角色的示例代碼，使你的應(yīng)用可以適應(yīng)任何臉型并把用戶頭像動(dòng)畫化。

3. 語(yǔ)音

主要包括語(yǔ)音命令和控制、聽寫、從文字轉(zhuǎn)譯成語(yǔ)音等功能。只支持英語(yǔ)，語(yǔ)音識(shí)別對(duì)成年人效果*好。

語(yǔ)音識(shí)別：分為命令模式和聽寫模式。命令模式需提前設(shè)定命令列表，特定命令綁定特定動(dòng)作。聽寫模式內(nèi)置了一個(gè)通用的詞典，包括50k個(gè)常用單詞。如果你覺(jué)得不夠用，也可以自己添加詞典中沒(méi)有的單詞。聽寫模式限時(shí)30秒。命令和聽寫模式不可同時(shí)開啟。

語(yǔ)音分析：SDK也可以根據(jù)文本動(dòng)態(tài)的生成語(yǔ)音，由女聲讀出。

4. 背景移除

可以實(shí)時(shí)的移除背景并替換成新的背景。

應(yīng)用場(chǎng)景：

5. 目標(biāo)跟蹤

Metaio*3D目標(biāo)跟蹤模塊提供基于光學(xué)的跟蹤技術(shù)，可以跟蹤視頻序列或場(chǎng)景中的目標(biāo)物。Metaio工具箱可以訓(xùn)練、創(chuàng)建并編輯3D模型，這些模型可以傳給各種目標(biāo)檢測(cè)及跟蹤算法。

跟蹤技術(shù)支持平面的2D目標(biāo)跟蹤、基于特征的3D跟蹤、CAD模型的基于邊界的3D跟蹤及即時(shí)3D跟蹤。

6. 增強(qiáng)現(xiàn)實(shí)

用音頻、視頻、圖像或其他信息來(lái)添加、增強(qiáng)或補(bǔ)充英特爾實(shí)感技術(shù)游戲的內(nèi)容。

7. 三維掃描和打印

可以掃描、編輯、打印和分享三維物體，并與 3D Systems展開合作。

目前因特爾已經(jīng)與騰訊合作創(chuàng)立游戲創(chuàng)新實(shí)驗(yàn)室，推進(jìn)實(shí)感技術(shù)，并打造了《軒轅傳奇》。與京東合作建立“京東因特爾聯(lián)合創(chuàng)新實(shí)驗(yàn)室”，推出虛擬試衣、3D物品展示等，使實(shí)感技術(shù)落地電商平臺(tái)。同時(shí)因特爾自己也在不斷推出自己的實(shí)感技術(shù)產(chǎn)品。這不前兩天在北京推出其全新的第五代酷睿處理器家族，搭載此處理器的多款產(chǎn)品還配備了英特爾實(shí)感技術(shù)，看來(lái)這項(xiàng)技術(shù)很快就會(huì)遍地開花。

只要你的處理器是第四代及四代以后英特爾? 酷睿?處理器，操作系統(tǒng)滿足Microsoft* Windows 8.1（僅限64 bit），再外購(gòu)一個(gè)英特爾? RealSense? 3D 攝像頭就可以下載SDK玩起來(lái)。估計(jì)不久聯(lián)想、戴爾、華碩、宏基、惠普等等搭載第五代酷睿處理器并內(nèi)嵌因特爾3D攝像頭的超很本、二合一及一體機(jī)設(shè)備就會(huì)上市，那時(shí)玩起來(lái)會(huì)更爽。

資料來(lái)源：RealSenseSDKdesignGuidelinesGold

補(bǔ)充一點(diǎn)自己的實(shí)際體會(huì)：

1.基于結(jié)構(gòu)光方案的深度相機(jī)，受光線影響很大，下午太陽(yáng)光照進(jìn)來(lái)，深度數(shù)據(jù)殘缺嚴(yán)重，這個(gè)就是所謂的激光散斑受強(qiáng)光淹沒(méi)掉了。

2.手勢(shì)識(shí)別中，靜態(tài)手勢(shì)，手型識(shí)別效果不錯(cuò)。同時(shí)，對(duì)著深度相機(jī)方向的手勢(shì)運(yùn)動(dòng)，識(shí)別效果也不錯(cuò)。但左右方向的運(yùn)動(dòng)手勢(shì)，效果很差。主要是視場(chǎng)角小，深度數(shù)據(jù)殘缺嚴(yán)重。

3.SDK可支持多個(gè)設(shè)備同時(shí)鏈接 。采用一臺(tái)設(shè)備，一個(gè)線程來(lái)管理維護(hù)。線程內(nèi)部，SDK所有功能都支持。也就是多個(gè)設(shè)備互不影響。

4.手勢(shì)，采用22點(diǎn)骨架模型。大致的手型是可以捕捉的， 但是容易受到環(huán)境光影響，在準(zhǔn)確獲取手部動(dòng)作時(shí)還是考慮使用專業(yè)的數(shù)據(jù)手套設(shè)備，比如WISEGLOVE數(shù)據(jù)手套。

5.手勢(shì)識(shí)別，在20~55cm范圍內(nèi)可用。其實(shí)，整體來(lái)看，只能是小范圍運(yùn)動(dòng)情況了。