情感服務機器人表情認知研究

機器人的情緒識別與類人情緒的產生過程受到計算機與心理學研究領域的廣泛關注,同時得到了科學界的高度重視與大規模支持,并逐漸形成認知情感計算這一交叉研究領域。本文圍繞人機交互的過程中服務機器人之認知情緒調節過程展開研究。首先,根據信息加工理論以及視覺感知與選擇性關注特征建立起關注度分析模型,并基于交互者表情及微表情特征的提取與分析,構建起表情-情緒映射模型,將外界表情刺激映射到喚醒度-效價-開放度三維情緒空間中,為后續情緒調節過程提供可靠的認知依據；其次,針對Gross認知情緒調節策略中的情境選擇、情境修正、注意分配環節,提出具備心理意義學的情緒調節與表達算法,并將其應用于仿人服務機器人中進行交互效果論證；而后,以動機心理學為原型,引入物理學中有源場理論,針對Gross策略的認知重評及表達抑制環節,建立起具有動力性能的情緒狀態空間,在空間中模仿人類的認知能力及自身情緒狀態間的相互作用過程,并融入HMM模型與Glauber動力系統,實現基于概率的刺激與情緒狀態調節過程；zui后,將上述理論、算法融入服務機器人平臺中,分析、驗證模型的有效性,并將其應用于孤獨癥社交輔助治療中。

本文的主要研究內容與創新點如下：

(1)根據信息加工理論以及視覺感知與選擇性關注特征,采用馬爾可夫鏈-熵的方法來描述視覺注意在圖像不同顯著區域間的非對稱性旋回轉移過程；根據FACS中面部運動單元的劃分方法,提取zui能表現情緒狀態的13個AU單元,將其劃分為9個面部特征區域,采用PCA方法對5尺度8方向的Gabor小波變換得到的小波系數進行訓練降低表情空問維度,在此基礎上,通過表情的分析,對非典型表情進行情緒映射,實現針對面部特征區域的表情情緒認知方法；在此研究基礎上,采用Gabor濾波器分解由3D梯度投影描述法得到的微表情關鍵幀之特征區域圖像,并通過多區域的局部Gabor二值模式算法,在盡可能保留圖像特征信息的基礎上進行特征降維,zui終,構建起基于梯度量級加權的zui近鄰分類器對微表情特征進行分類,從而實現微表情捕捉與情緒識別過程,用于發現交互者的潛在情緒。以上關注度分析、表情及微表情情緒研究,為后續情感計算研究提供了較為有效的認知基礎。

(2)從Gross認知情緒調節過程中的情景選擇、情景修正、注意分配環節中,抽象出交互關系參數與情緒抑制參數,實現對于情緒狀態轉移概率的影響,并通過遺傳算法對相應交互關系影響因子與情緒抑制影響因子進行優化處理,進一步提高參數的控制精度,從而提出一種融合概率有限狀態機算法的情緒調節與表達模型,并將外界環境因素融入仿人服務機器人的情緒表達過程中。本模型應用于14自由度的仿人表情機器人中進行交互實驗,通過對500位交互者的Likert調查量表進行分析,對映射反應模型與認知情緒模調節型的交互效果進行對比,結果表明具備認知情緒調節能力的仿人服務機器人其表情擬人度與智能性更加良好,可以在人機交互過程中發揮多樣化的情緒表達作用。

(3)根據交互過程中的場力與沖突理論,在有源場情緒狀態空間中建立起服務機器人的連續可控的情感調節過程。在費希納-韋伯定律的基礎上,定量分析Gross策略中情緒的自發性認知重評與指導性認知重評過程；根據情感強度第三定律提出一種與情緒效價相關聯的情緒強度衰減模型；依據動力心理學理論,建立起基于有源場的情緒能量空間,用于模擬外界刺激情緒與機器人自身情緒的相互作用過程；并建立起基于情緒喚醒度的機器人行為表達抑制模型；在此研究基礎上,提出基于HMM的情緒狀態刺激轉移算法與基于Glauber動力系統的情緒狀態自發轉移算法；并將以上模型算法用于13自由度的服務機器人平臺中,實現非典型表情交互環境中機器人不確定情緒過程的動態、可控調節。

(4)基于以上視覺注意、表情／微表情-情緒映射、及認知情緒調節過程的研究成果,構建起以情感機器人為核心的面向孤獨癥兒童的社交輔助*,針對患兒的認知情感缺失問題,實現患兒與機器人的情感互動治療。在視覺注意模型的基礎上,建立共同注意子系統,實現對于患兒聯合注意能力的訓練；在表情／微表情-情緒映射模型的基礎上,實現在表情學習、表情模仿訓練模式中對于患兒面部表情的實時識別,輔助該訓練模式的完成,此外,還可以實時追蹤訓練過程中患兒的情緒變化,并依據認知情緒調節模型給予相應情緒互動；在情境認知訓練中,融入基于MFCCs分析的情緒調節模型,使機器人產生與場景相匹配的情緒狀態及行為表現。本文所研究的模型與算法貫穿于患兒與情感機器人的交互過程,在臨床試驗中實現了具備仿人情感能力的心理及行為互動。SRS社交反應量表分析結果表明,通過六種模式下的認知情緒訓練,患兒的聯合注意及社會交往能力得到一定提高且其效果優于傳統康復模式。