【導讀】深度學習技術(shù)對于降低計算機視覺辨識和分類的錯誤率展現(xiàn)出巨大的優(yōu)勢。在嵌入式系統(tǒng)中實施深度神經(jīng)網(wǎng)絡有助于機器透過視覺解讀臉部表情，并達到類似人類的準確度。
辨別臉部表情和情緒是人類社會互動早期階段中一項基本且非常重要的技能。人類可以觀察一個人的臉部，并且快速辨識常見的情緒：怒、喜、驚、厭、悲、恐。將這一技能傳達給機器是一項復雜的任務。研究人員經(jīng)過幾十年的工程設計，試圖編寫出能夠準確辨識一項特征的計算機程序，但仍必須不斷地反復嘗試，才能辨識出僅有細微差別的特征。
那么，如果不對機器進行編程，而是直接教機器精確地辨識情緒，這樣是否可行呢？
深度學習(deep learning)技術(shù)對于降低計算機視覺(computer vision)辨識和分類的錯誤率展現(xiàn)出巨大的優(yōu)勢。在嵌入式系統(tǒng)中實施深度神經(jīng)網(wǎng)絡(見圖1)有助于機器透過視覺解讀臉部表情，并達到類似人類的準確度。
圖1：深度神經(jīng)網(wǎng)絡的簡單例子
神經(jīng)網(wǎng)絡可經(jīng)由訓練而辨識出模式，而且如果它擁有輸入輸出層以及至少一個隱藏的中間層，則被認為具有「深度」辨識能力。每個節(jié)點從上一層中多個節(jié)點的加權(quán)輸入值而計算出來。這些加權(quán)值可經(jīng)過調(diào)整而執(zhí)行特別的影像辨識任務。這稱為神經(jīng)網(wǎng)絡訓練過程。
例如，為了訓練深度神經(jīng)網(wǎng)絡辨識面帶開心笑臉的照片，我們向其展示開心的圖片作為輸入層上的原始數(shù)據(jù)(影像畫素)。由于知道結(jié)果是開心，網(wǎng)絡就會辨識圖片中的模式，并調(diào)整節(jié)點加權(quán)，盡可能地減少開心類別圖片的錯誤。每個顯示出開心表情并帶有批注的新圖片都有助于優(yōu)化圖片權(quán)重。藉由充份的輸入信息與訓練，網(wǎng)絡可以攝入不帶標記的圖片，并且準確地分析和辨識與開心表情相對應的模式。
深度神經(jīng)網(wǎng)絡需要大量的運算能力，用于計算所有這些互連節(jié)點的加權(quán)值。此外，數(shù)據(jù)存儲器和高效的數(shù)據(jù)移動也很重要。卷積神經(jīng)網(wǎng)絡(CNN)(見圖2)是目前針對視覺實施深度神經(jīng)網(wǎng)絡中實現(xiàn)效率最高的先進技術(shù)。CNN之所以效率更高，原因是這些網(wǎng)絡能夠重復使用圖片間的大量權(quán)重數(shù)據(jù)。它們利用數(shù)據(jù)的二維(2D)輸入結(jié)構(gòu)減少重復運算。
*圖2：用于臉部分析的卷積神經(jīng)網(wǎng)絡架構(gòu)(示意圖) *
實施用于臉部分析的CNN需要兩個獨特且互相獨立的階段。第一個是訓練階段，第二個是部署階段。
訓練階段(見圖3)需要一種深度學習架構(gòu)——例如，Caffe或TensorFlow——它采用中央處理器(CPU)和繪圖處理器(GPU)進行訓練計算，并提供架構(gòu)使用知識。這些架構(gòu)通常提供可用作起點的CNN圖形范例。深度學習架構(gòu)可對圖形進行微調(diào)。為了實現(xiàn)盡可能最佳的精確度，可以增加、移除或修改分層。
圖3：CNN訓練階段
在訓練階段的一個最大挑戰(zhàn)是尋找標記正確的數(shù)據(jù)集，以對網(wǎng)絡進行訓練。深度網(wǎng)絡的精確度高度依賴于訓練數(shù)據(jù)的分布和質(zhì)量。臉部分析必須考慮的多個選項是來自「臉部表情辨識挑戰(zhàn)賽」(FREC)的情感標注數(shù)據(jù)集和來自VicarVision (VV)的多標注私有數(shù)據(jù)集。
針對實時嵌入式設計，部署階段(見圖4)可實施在嵌入式視覺處理器上，例如帶有可編程CNN引擎的Synopsys DesignWare EV6x嵌入式視覺處理器。嵌入式視覺處理器是均衡性能和小面積以及更低功耗關(guān)系的最佳選擇。
圖4：CNN部署階段
雖然標量單元和向量單元都采用C和OpenCL C(用于實現(xiàn)向量化)進行編程設計，但CNN引擎不必手動編程設計。來自訓練階段的最終圖形和權(quán)重(系數(shù))可以傳送到CNN映射工具中，而嵌入式視覺處理器的CNN引擎則可經(jīng)由配置而隨時用于執(zhí)行臉部分析。
從攝影機和影像傳感器擷取的影像或視訊畫面被饋送至嵌入式視覺處理器。在照明條件或者臉部姿態(tài)有顯著變化的辨識場景中，CNN比較難以處理，因此，影像的預處理可以使臉部更加統(tǒng)一。先進的嵌入式視覺處理器的異質(zhì)架構(gòu)和CNN能讓CNN引擎對影像進行分類，而向量單元則會對下一個影像進行預處理——光線校正、影像縮放、平面旋轉(zhuǎn)等，而標量單元則處理決策(即如何處理CNN檢測結(jié)果)。
影像分辨率、畫面更新率、圖層數(shù)和預期的精確度都要考慮所需的平行乘積累加數(shù)量和性能要求。Synopsys帶有CNN的EV6x嵌入式視覺處理器采用28nm制程技術(shù)，以800MHz的速率執(zhí)行，同時提供高達880MAC的性能。
一旦CNN經(jīng)過配置和訓練而具備檢測情感的能力，它就可以更輕松地進行重新配置，進而處理臉部分析任務，例如確定年齡范圍、辨識性別或種族，并且分辨發(fā)型或是否戴眼鏡。
總結(jié)
可在嵌入式視覺處理器上執(zhí)行的CNN開辟了視覺處理的新領(lǐng)域。很快地，我們周圍將會充斥著能夠解讀情感的電子產(chǎn)品，例如偵測開心情緒的玩具，以及能經(jīng)由辨識臉部表情而確定學生理解情況的電子教師。深度學習、嵌入式視覺處理和高性能CNN的結(jié)合將很快地讓這一愿景成為現(xiàn)實。
（作者簡介：Gordon Cooper，Synopsys嵌入式視覺產(chǎn)品行銷經(jīng)理）
推薦閱讀：
