人的情緒和心態的變化總是伴隨著某些生理或行為特征的起伏，受環境、文化背景、人的性格等壹系列因素的影響。為了讓機器處理情緒，我們必須首先探索人與人之間的交互過程。那麽人是如何表達情緒的，又是如何準確感知的呢？人們通過壹系列的面部表情、肢體動作和聲音來表達情緒，通過視覺、聽覺和觸覺來感知情緒的變化。視覺感知主要通過面部表情和手勢進行；語音和音樂是主要的聽覺方式；觸摸包括對愛撫、撞擊、汗液分泌、心跳等現象的處理。
情感計算研究的重點是通過各種傳感器獲取人類情緒引起的生理和行為特征信號，建立“情感模型”，從而打造具有感知、識別和理解人類情緒能力的個人計算系統，對用戶的情緒做出智能、靈敏、友好的反應，縮短人機距離，創造真正和諧的人機環境(圖2)。在生活中，人們很難保持僵硬的面部表情。通過面部表情來表達情緒是壹種自然的方式，其情緒表達區域主要包括嘴、臉頰、眼睛、眉毛、額頭等。人在表達情緒時，只需稍微改變面部的局部特征(如皺眉)就能反映出壹種心態。1972年，著名學者埃克曼提出了面部情感的表達方法(FACS)。通過不同的編碼和運動單位的組合，可以在臉上形成復雜的表情變化，如喜、怒、悲等。這壹成果已被大多數研究人員接受，並應用於面部表情的自動識別和合成(圖3)。
隨著計算機技術的飛速發展，為了滿足通信的需要，人們進壹步將人臉識別和合成融入到通信編碼中。最典型的是MPEG4 V2視覺標準，它定義了三個重要的參數集:人臉定義參數、人臉插值變換和人臉動畫參數。表情參數中的具體數值代表人的興奮程度，可以組合多個表情模擬混合表情。
在目前的面部表情處理技術中，更多的是強調對三維圖像更細致的描述和建模。通常使用復雜的紋理和詳細的圖形變換算法來實現生動的情感表達。在此基礎上，不同的算法形成不同層次的應用系統(圖4，圖5)。人的姿勢壹般會隨著交互過程而變化，它們表達了壹些信息。比如手勢的加強，通常反映的是壹種被強調的心態，身體的某個部位不停地擺動，這通常傾向於情緒化。與聲音和面部表情的變化相比，姿勢變化的規律性很難獲得，但人們仍然強烈關註它，因為人體姿勢的變化會使表情更加生動。
科學家專門為肢體運動設計了壹系列運動和身體信息捕捉設備，比如動作捕捉器、數據手套、智能座椅等等。壹些國外著名的大學和跨國公司，如麻省理工學院和IBM，都在這些設備的基礎上建立了智能空間。與此同時，有人將智能座椅應用到汽車的駕駛座上，動態監測駕駛員的情緒狀態，並及時發出警告。壹些意大利科學家還通過壹系列姿勢分析，自動分析上班族的感受，設計出更舒適的辦公環境。在人與人的交往過程中，語音是人與人之間最直接的交流渠道，人們可以通過語音明顯感受到對方的情緒變化，比如通過特殊的語氣詞改變語氣等等。人們打電話時，雖然看不到對方，但能從對方的語氣中感受到對方的情緒變化。比如同壹句話“妳真的很好”，用不同的語氣就可以做成褒義或者諷刺或者嫉妒。
目前，國際上對情感語音學的研究主要集中在對情感聲學特征的分析上。壹般來說，言語中的情感特征往往是通過言語節奏的變化來表達的。比如壹個人生氣的時候語速會變快，音量會變大，音調會變高，壹些音素特征(* * *振動峰值，聲道橫截面函數等。)也能反映情緒的變化。中科院自動化所模式識別國家重點實驗室的專家針對語言中的焦點現象，首次提出了情感焦點生成模型。這為語音合成中情緒狀態的自動預測提供了基礎。結合高質量的聲學模型，情感語音合成和識別首先達到實際應用水平。雖然面部、姿勢、聲音可以獨立表達壹定的情緒，但人與人之間總是通過上述信息的綜合表達來進行交流。因此，只有實現多通道人機接口，將自然語言、語音、手語、人臉、唇讀、頭姿、體姿等多種信息集成在壹起，對這些通道的信息進行編碼、壓縮、集成、融合，處理圖像、音頻、視頻、文本等多媒體信息，才是人與計算機交互的最自然的方式。
目前，多模態技術本身正在成為人機交互的研究熱點，情感計算結合多模態處理技術可以實現情感的多特征融合，可以有效提高情感計算的研究深度，促進高質量、更加和諧的人機交互系統的出現。
在多模態情感計算的研究中，壹個非常重要的研究分支是情感機器人和情感虛擬人的研究。麻省理工學院、東京科技大學、卡內基梅隆大學都在這方面做了很好的示範系統。目前，中國科學院自動化研究所模式識別國家重點實驗室已經將情感處理集成到他們現有的語音和人臉多模態交互平臺中，並與情感語音合成、人臉建模、視覺位置模型等壹系列前沿技術相結合。，構建生動的情感虛擬化身，並正在積極轉向嵌入式平臺、遊戲平臺等實際應用(圖6)。情緒狀態的識別和理解是賦予計算機理解情緒並做出適當反應的關鍵步驟。這壹步通常包括從人們的情緒信息中提取特征進行識別，例如區分眉毛和笑臉，然後讓計算機學習這些特征，以便將來能夠準確識別他們的情緒。
為了讓計算機更好地完成情緒識別的任務，科學家們對人類的情緒狀態進行了合理清晰的分類，提出了幾種基本情緒。目前，模式識別、人工智能、語音和圖像技術的大量研究成果被應用於情感識別和理解的方法中。例如，基於情感語音的聲學分析，利用線性統計方法和神經網絡模型，實現了基於語音的情感識別原型；通過對面部運動區域進行編碼，采用HMM等不同模型，建立了面部情感特征的識別方法。通過對人體姿勢和動作的分析，探索身體動作的情感範疇等等。
然而，受情感信息捕捉技術和大規模情感數據資源缺乏的影響，多特征融合的情感理解模型研究有待深化。未來隨著技術的進步，會提出更有效的機器學習機制。情感計算和智能交互技術試圖在人和計算機之間建立準確的自然交互，這將是計算技術全面滲透到人類社會的重要手段。未來隨著技術的不斷突破，情感計算的應用勢在必行，對未來日常生活的影響將是多方面的。目前，我們可以預見以下情況:
情感計算將有效改變過去計算機死板的交互服務，提高人機交互的友好性和準確性。具有情感能力的計算機可以對人類的情感進行獲取、分類、識別和響應，從而幫助用戶獲得高效友好的感受，有效降低人們使用計算機的挫折感，甚至可以幫助人們輕松了解自己和他人的情感世界。
它還可以幫助我們提高使用設備的安全性(例如，當使用該技術的系統檢測到駕駛員註意力不集中時，它可以及時改變汽車的狀態和反應)，使體驗人性化，優化計算機作為媒介的學習功能，並收集我們的反饋信息。例如，壹個研究項目使用計算機來測量汽車司機感受到的壓力水平，以幫助解決司機所謂的“路怒癥”問題。
情感計算及相關研究也能給涉足電子商務領域的企業帶來收益。研究表明，不同的形象能喚起人類不同的情感。例如，蛇、蜘蛛和槍的圖片會引起恐懼，而大量美元現金和金塊的圖片會使人產生非常強烈的積極反應。如果在購物網站和股票交易網站的設計中研究和考慮這些因素的重要性，將會對客流的增加產生非常積極的影響。
在信息家電和智能儀器中，加入自動感知人的情緒狀態的功能，可以提供更好的服務。
在信息檢索的應用中，通過情感分析的概念分析功能，可以提高智能信息檢索的精度和效率。
在遠程教育平臺中，情感計算技術的應用可以提高教學效果。
利用多模態情感交互技術，可以構建更貼近人們生活的智能空間或虛擬場景等等。
情感計算還可以應用於機器人、智能玩具、遊戲等相關行業，構建更擬人化的風格和更逼真的場景。由於缺乏大規模的情感數據資源，情感計算的發展受到壹定程度的限制，多局限於語音、肢體語言等特定的、分散的研究領域。僅僅依靠這些，很難準確推斷和生成壹個人的情緒狀態，進行有效的情緒互動。目前，科學家們正在積極探索基於多特征融合的情感計算理論模型。許多人認為，情感計算將需要在未來幾年內在這些領域取得突破:
更詳細準確的情感信息獲取、描述和參數化建模。
多模態情感識別、理解和表達(圖像、聲音、生理特征等。).
自然場景對生理和行為特征的影響。
壹種更適用的機器學習算法。
壹個龐大的情感數據數據庫。前不久，為推動我國在該領域的研究，探討情感計算和智能交互技術的發展趨勢和動向，促進我國在該領域研究人員的交流與合作，中國科學院自動化研究所、中國自動化學會、中國計算機聯合會、中國圖像圖形學會、中國中文信息學會、國家自然科學基金委員會和國家863計劃計算機軟硬件技術主題在北京主辦了首屆中國情感計算與智能交互學術會議。
事實證明，情感計算的概念雖然誕生不久，但已經受到學術界和產業界的高度重視，相關領域的研究和應用方興未艾。國家自然科學基金也將其列入重點項目指南。值得註意的是，近年來，與情感計算密切相關的普適計算和可穿戴計算機的研究也蓬勃發展，得到了國家的大力支持。這為情感信息的實時獲取提供了極大的便利，也為我國情感計算的發展提供了更好的開發平臺。