文章推介 | 面部表情和隱喻性手勢對二語情緒負載詞習得的影響

面部表情和隱喻性手勢對二語情緒負載詞

習得的影響

王興隆 亢世勇

魯東大學

摘 要

基于一項實驗，本文集中研究了面部表情和隱喻性手勢對二語情緒負載詞習得的影響。結果顯示：1) 有伴語模態 (面部表情、隱喻性手勢、面部表情+隱喻性手勢) 的整體促學效果顯著優于無伴語模態；2) 面部表情+隱喻性手勢、面部表情的促學效果均顯著優于隱喻性手勢， 但前二者之間并無明顯差距；3) 情緒效價可以調控面部表情、面部表情+隱喻性手勢的促學表現。相較于積極效價詞，目標詞為消極效價詞時，面部表情、面部表情+隱喻性手勢的促學效果更優。論文最后從語義加工-具身情緒體驗關系、多感官統合理論、“注意”機制、情緒效價的偏向觀及激活模式等方面進行了討論。

1.引言

人類主要通過情緒詞來表征、傳遞語言中的情緒信息(Hinojosa et al. 2020)。情緒詞包括情緒標簽詞(emotion-label words)與情緒負載詞(emotion-laden words)(Pavlenko 2008)。情緒負載詞一般通過連接相應的情緒標簽詞來引發情緒效應(Altarriba & Basnight-Brown 2011)。例如，理解情緒負載詞“掛科”“表揚”，個體首先會聯想到相應的具身經歷或概念體驗，然后介引出“失落”“高興”等情緒標簽詞。不過，以往研究多聚焦于一語/二語情緒標簽詞或籠統意義上的情緒詞(Wang et al. 2019)，對二語情緒負載詞的集中關注較少，因此，有必要專門對其進行深入研究。另一方面，人類在言語過程中經常會伴隨一些面部表情及手勢，也對他人的伴語(co-speech)面部表情及手勢特別敏感(Kretetal. 2013)，二者往往一起出現，互相協同，如悲傷表情通常伴隨以手掩面手勢，憤怒表情則一般伴隨握緊拳頭。近年以來，面部表情及手勢等伴語模態日益受到二語學界的重視，逐漸成為前沿課題，相關問題也亟需進一步探究。

2.文獻綜述

2.1二語情緒負載詞相關研究

早先，情緒詞研究主要聚集于一語/母語情緒負載詞與情緒標簽詞的情緒激活(emotional arousal)和加工機制。近年來的研究開始從一語轉向二語，如黃月等(2023)一些學者分別探索了情緒效價、內感受對二語情緒詞加工的影響，但這些研究多屬于二語詞匯認知加工實驗，而非二語詞匯習得范疇，前者目標詞為熟詞，后者則是陌生詞，二者的任務與機制也有較大差異。可見，目前學界仍鮮有二語情緒詞習得方面的研究，此方面的探索亟需展開。Winskel(2013)曾采用經典的情緒Stroop范式考察了雙語者對泰語、英語(母語)情緒負載詞的加工，發現只有母語詞的顏色反應受到了情緒干擾，二語詞并沒有，這反映了二語情緒負載詞的情緒激活機制更復雜，激活難度更大。此外，與情緒標簽詞不同，情緒負載詞中的情緒信息雖然是詞義信息的一部分，但卻是“內隱”的，它并不構成詞義的外顯內容，所以，進一步探尋二語情緒負載詞習得的機制與規律，既有必要，也更有意義。近年來的研究發現，教學者的面部表情、手勢與口語可共同促成二語學習者的視聽多模態輸入通道(李琳 2022;馬賽等 2022)，由于伴語面部表情、手勢(尤其是隱喻性手勢)可能自帶情緒效價，這對激活情緒負載詞的情緒信息有一定幫助，由此，二者可能會對提高二語情緒負載詞習得效果發揮積極作用，這是將來值得關注的一個研究進路。

2.2伴語面部表情相關研究

伴語面部表情的早期研究集中于認知實驗領域，如Meerenetal.(2005)發現，微笑、沮喪的面部表情能夠分別激活受試的積極、消極情緒。后續研究發現，這種激活效應是雙向的，例如，Niedenthal et al. (2009)基于肌電掃描儀的研究發現，當分別呈現積極、消極情緒標簽詞時，受試面部肌肉也相應呈現出喜悅、厭惡表情。接著，這項研究被拓展、應用到詞匯語義加工范疇，如Havas et al. (2010)的實驗顯示，積極(喜悅)、消極(皺眉)的面部肌肉活動可分別促進積極、消極情緒標簽詞的語義加工，這說明，伴語面部表情與情緒標簽詞語義加工具有效價一致性效應(Huerta-Chavez & Ramos-Loyo 2024)。但上述研究多屬于一語/母語詞匯認知或語義加工實驗，并非二語詞匯習得范疇，并且，其實驗目標詞多為情緒標簽詞，鮮有涉及情緒負載詞的研究。因此，伴語面部表情對二語情緒負載詞習得是否也具有積極影響呢？目前該問題尚缺乏明確解答，相關研究仍需進一步展開。

2.3伴語手勢相關研究

伴語手勢主要包括標志性手勢與隱喻性手勢。整體來看，已有研究在標志性手勢的二語具體詞習得效應、隱喻性手勢的二語抽象詞習得效應方面取得了豐碩成果，但在二語情緒詞習得方面卻鮮有涉及。標志性手勢主要對具體詞進行象似性模擬，大量實驗證明了其在二語具體詞促學方面的優異表現。如 García-Gámez & Macizo (2023)的西班牙語二語詞匯習得實驗顯示，無論是“看”教師的手勢還是親自“做”手勢，標志性手勢的促學表現均顯著優于無手勢。隱 喻性手勢一般通過手勢(喻體)與抽象詞(本體)建立映射關聯。同樣，很多二語 詞匯習得實驗也支持了隱喻性手勢的促學性。例如，Repetto et al. (2017)發現伴隨隱喻性手勢的二語抽象詞習得效果甚至優于圖片促學。遺憾的是以上研究極少涉及二語情緒詞。不同于普通詞，情緒詞一般含有積極/消極情緒信息或效價，進而，同一隱喻性手勢(以消極效價為例)既可以指向情緒詞的詞義內容(He is so unhappy today/伴隨手臂、手掌遠離自己)，也可指向其情緒效價(I fail a course/伴隨手臂、手掌遠離自己)。不過，由于情緒標簽詞的詞義內容本身就是 情緒信息，情緒負載詞則通過詞義激活其所負載的情緒效價，所以，如果將隱喻 性手勢作為情緒標簽詞的伴語形式，可能會引發機械性詞義猜測效應，從而不利于更加完整、科學地考察手勢促學效應。因此，專門探究隱喻性手勢對二語情緒負載詞的影響就顯得更為必要。

2.4伴語面部表情和伴語手勢的對比研究

也有研究聚焦于伴語面部表情和手勢在情緒信息識別方面的重要性對比。例如，Hietanen & Lepp?nen (2008)證實了手勢對情緒信息識別的重要作用，Aviezer et al. (2012)認為面部表情才是情緒信息識別的主體。康鐵君等(2022)則認為二者的有效協同才能更好地傳遞情緒信息。不過，這些研究多屬一語/母語認知加工實驗。目前，還鮮有伴語面部表情、手勢、面部表情+手勢三者之間的二語情緒負載詞促學效應對比研究，該研究能夠有效探明面部表情和手勢的個性化特征及各自優勢，從而有助于進一步提高二語情緒負載詞習得效率。

綜上所述，本文擬以中國英語二語學習者為受試，集中研究伴語面部表情及隱喻性手勢對二語情緒負載詞習得的影響。對此，除了考察面部表情、隱喻性手勢、面部表情+隱喻性手勢對二語情緒負載詞習得影響的對比情況，還將加入無伴語模態條件，以便于探究三者整體上對二語情緒負載詞習得的影響。此外，二語情緒負載詞擁有不同效價時，三者對其習得的影響是否有差異呢？該問題也需一并驗證。

3.研究實驗

3.1研究問題

本研究擬回答以下三個問題：1)有伴語模態(面部表情、隱喻性手勢、面部表情+隱喻性手勢)和無伴語模態對二語情緒負載詞習得的影響整體上有何差異？2) 面部表情、隱喻性手勢、面部表情+隱喻性手勢對二語情緒負載詞習得的影響分別有何差異？3)目標詞情緒效價是否調控面部表情、隱喻性手勢、面部表情+隱喻性手勢對二語情緒負載詞習得的影響？

本實驗采用4(學習方式)×2(情緒效價)兩因素混合實驗設計，學習方式為組間自變量，共有四個水平：面部表情、隱喻性手勢、面部表情+隱喻性手勢、無伴語模態。目標詞情緒效價為組內自變量，共有兩個水平：積極效價、消極效價。因變量為詞語回憶正確率、詞義識別正確率及反應時。

3.2受試

受試為130名中國英語學習者，平均年齡20.8歲，視力或矯正視力正常，學習英語的平均時間為11.3年，均已通過英語四級。他們被分為五個小組，每組26人，然后接受了滿分為60分的牛津快速分級測試(Quick Placement Test)，評分之后，分別去掉得分最高、最低的15人，然后對剩余的100份成績進行方差分析(Analysis of Variance)，發現五個小組之間的分數并無顯著差異，F(4，95)=0.462，p=0.763。隨機選擇四個小組的80人參加正式實驗，另一小組的20人作為同等水平非實驗人員參與實驗材料審查等任務。

3.3實驗材料

從《牛津高階英漢雙解詞典》(第八版)中選出30個(積極、消極詞各15個)較為生僻的英語情緒負載詞，選擇標準主要參考了Pavlenko (2008)、Altarriba & Basnight-Brown (2011)對情緒負載詞的界定。請同等水平非實驗人員辨認并替換熟悉詞，接著請他們進行熟悉度評分(1為非常陌生，7為非常熟悉)、效價(1為非常消極，9為非常積極)評分及喚醒度1(1為非常弱，9為非常強)評分。獨立樣本t檢驗發現，積極、消極效價詞之間的熟悉度、喚醒度差異并不顯著(p>0.05)，效價差異極其顯著(p<0.001)。從英語國家語料庫(https://www.english-corpora.org/bnc/)中獲取詞頻數據，對兩組詞匯的詞長(字母數)、音節數和詞頻(每百萬)進行統計、檢驗，發現以上各項均無顯著差異(p>0.05)。最終確定了30個英語目標詞：積極效價詞為idyllize, furbish, soothe, vivify, nurture, effulge, savor, rectify, jasper, plenitude, faerie, nectar, erudition, paragon, euphony。消極效價詞為enslave, lacerate, traduce, falsify, desecrate, wither, extort, inveigle, sewage, mayhem, fetor, acedia, miscreant, sleaze, tsunami。兩組詞中動、名詞的比例一致，且均配備了通俗易懂的漢語譯詞。目標詞屬性見表1。

根據進化心理學中的“趨利避害”觀，人類“手臂伸直或彎曲會自動傳遞危險或安全的信號”(Friedman & F?rster 2000)，二者分別代表“推開”與“接納”身外之物，進而演化出“靠近自己-積極效價”和“遠離自己-消極效價”的隱喻性手勢 (康鐵君等 2022)。本實驗隱喻性手勢的操作即遵此進行。教學刺激材料均為呈現在電腦屏幕上的目標詞、漢語譯詞及持續 10s 的教學視頻。視頻截圖參看圖 1(每組圖左為積極效價詞，右為消極效價詞)，具體程序參看 3.4。視頻內容為：1)面部表情組包括勻速的目標詞、譯詞口語發音，同時伴隨根據目標詞情緒效價所流露出的喜悅 (積極)、沮喪 (消極) 面部表情。每個目標詞重復兩次 (下同)；2) 隱喻性手勢組包括勻速的目標詞、譯詞口語發音，同時伴隨根據情緒效價所演示的手臂趨近身體 (積極)、遠離身體 (消極) 動作；3) 面部表情+隱喻性手勢組疊加以上兩組程序；4) 無伴語模態組只包括勻速的目標詞、譯詞口語發音。3 名國際中文教師及 20 名同等水平非實驗人員對各組手勢、表情等的一致性、區分度進行了把控，如存在誤解或干擾可能，則對教學視頻進行重新錄制，直到他們一致確認了視頻內容的規范性與合理性。

3.4 實驗程序

本研究參考了 Repetto et al. (2017) 的實驗程序。教學刺激環節基于 E-prime 2.0 進行，實驗前，主試講解實驗流程，并提供 5 個非目標詞練習試次。實驗時，受試端坐在距離電腦屏幕前 50cm 位置，首先，屏幕中央呈現一個“+”注視點，800ms 后消失，然后分別呈現相應刺激畫面。每個小組共呈現 30 個畫面，每個畫面持續 10s，目標詞 (紅色) 在屏幕左上角，譯詞 (黑色) 在屏幕右上角，教學視頻置于屏幕中間靠下位置。畫面切換前屏幕中央呈現一個 1000s 的“+”注視點。

教學刺激材料呈現時，受試的任務是理解、識記目標詞。面部表情組須聆聽目標詞與譯詞的口語發音并認真觀察、體會教師的面部表情，隱喻性手勢組須聆聽目標詞與譯詞的口語發音并認真觀察、理解教師的隱喻性手勢，面部表情+隱喻性手勢組須同時執行上述兩項任務，無伴語模態組須聆聽目標詞、譯詞的口語發音。教學刺激持續約 6 分鐘，共三輪，兩輪在上午 (隔 5 分鐘)，另一輪在下午。為避免順序效應，每輪目標詞呈現順序已隨機調整。

教學刺激環節完成后，休息 15 分鐘，接著進行詞語回憶、詞義識別測試，詞語回憶任務要求受試在 10 分鐘內盡可能多地寫出目標詞，每個 1 分，共 30 分。詞義識別任務要求受試從屏幕左上角、右上角的兩個備選翻譯詞 (黑色) 中通過按鍵 (Q 或 P) 選出目標詞的正確詞義，目標詞置于屏幕中央 (紅色)，正確答案位置已進行平衡。為避免機械記憶效應，備選項譯詞是與教學譯詞不同的另一同義詞，它們均為經過熟悉度確認的常見詞。

4. 實驗結果

通過對實驗數據的整理、統計，可得出表 2、表 3、表 4 的描述性統計結果。剔 除反應時大于2.5 倍標準的極端反應試次 ( 剔除率小于 5%)，采 用SPSS22.0 對詞語回憶分值、詞義識別正確率及反應時數據進行 4 (學習方式) ×2 (情緒效價) 的兩因素方差分析。

4.1 有伴語模態組和無伴語模態組的表現

1) 詞語回憶分值方面。將各有伴語模態組 (面部表情、隱喻性手勢、面部表情+隱喻性手勢) 的成績進行整合，形成整體平均分，然后與無伴語模態組進行獨立樣本 t 檢驗，結果顯示 t = 5.957，p < 0.0005，各組整體平均分明顯高于無伴語模態組；2) 詞義識別正確率方面。將各有伴語模態組的整體平均數據與無伴語模態組進行獨立樣本 t 檢驗，結果顯示 t = 14.403，p < 0.0005，前者正確率明顯高于后者；3) 詞義識別反應時方面。將各有伴語模態組的整體平均數據與無伴語模態組數據進行獨立樣本 t 檢驗，結果顯示 t = -3.555，p < 0.05，前者反應時明顯短于后者。這表明，有伴語模態的整體表現顯著優于無伴語模態。

4.2 面部表情組、隱喻性手勢組、面部表情+隱喻性手勢組的表現

1) 詞語回憶分值方面。學習方式的主效應顯著，F(3,152) = 13.036，p <0.0005。事后多重比較發現，面部表情+隱喻性手勢組、面部表情組的得分均顯著高于隱喻性手勢組，且前兩組之間并無顯著差距；2) 詞義識別正確率方面。學習方式的主效應顯著 2， F(3,140) = 76.329，p < 0.0005。事后多重比較發現，面部表情+隱喻性手勢組、面部表情組及隱喻性手勢組的正確率之間并無顯著差距(ps > 0.05)；3) 詞義識別反應時方面。學習方式的主效應顯著， F(3,140) = 11.189，p < 0.0005，事后多重比較發現，面部表情+隱喻性手勢組與面部表情組的反應時明顯最短，二者無顯著差距 (p > 0.05)，且均明顯 (p < 0.05)短于隱喻性手勢組。這表明，面部表情+隱喻性手勢組、面部表情組的整體表現優于隱喻性手勢組。

4.3 情緒效價調控面部表情組、隱喻性手勢組、面部表情+隱喻性手勢組的表現

1) 詞語回憶分值方面。學習方式與情緒效價的交互效應不顯著，F(3,152) =1.117，p > 0.05。不過，在面部表情+隱喻性手勢組中，消極效價詞的得分仍明顯(p < 0.05) 高于積極效價詞，并且在面部表情組，消極效價詞的得分也高于積極效價詞，且顯著性達到了邊緣性水平 (p = 0.079)；2) 詞義識別正確率方面。學習方式與情緒效價的交互效應邊緣性顯著，F(3,140) = 2.342，p = 0.076。面部表情+隱喻性手勢組中，消極效價詞的正確率明顯 (p < 0.05) 高于積極效價詞，面部表情組中，消極效價詞的正確率也明顯 (p < 0.05) 高于積極效價詞，但隱喻性手勢組中，二者并無顯著差距 (p > 0.05)；3)詞義識別反應時方面。學習方式與情緒效價的交互效應不顯著，F(3,140) = 1.430，p > 0.05。這表明，情緒效價可以調控面部表情、面部表情+隱喻性手勢對二語情緒負載詞習得的影響。相較于積極效價詞，目標詞為消極效價詞時，面部表情、面部表情+隱喻性手勢的促學效果更優。

5. 討論

根據具身語義觀，情緒體驗信息本身就是語義系統的重要元素，并且會參與語義的構建與表征 (Dijkstra & Post 2015)。因此，通過闡釋有關變量對目標詞情緒效價的激活程度或強度，即可檢驗其詞義加工程度及習得效果。

5.1 有伴語模態 (面部表情、隱喻性手勢、面部表情+隱喻性手勢) 和無伴語模態對二語情緒負載詞習得的影響

詞語回憶分值、詞義識別正確率及反應時數據顯示，面部表情、隱喻性手勢、面部表情+隱喻性手勢的二語情緒負載詞整體習得效果顯著優于無伴語模態。首先，該研究結果印證了多感官統合 (multisensory integration) 優勢效應，它指的是將來自不同感官的信息編碼為統一、互補信息的過程，經過多感官編碼的詞匯往往比單感官編碼更具記憶優勢 (Yu et al. 2022)。本文中，面部表情、隱喻性手勢、口語及譯詞共同促成了多感官統合的信息加工模式，因此，當口語理解出現困難時，受試就可以借助伴語模態進行信息代償以提高攝入 (intake) 信息的完整度、準確性；其次，本實驗進一步完善了 Brase & Mani (2017) 關于有伴語模態比無伴語模態更能提高二語情緒標簽詞習得效果的結論，將適用范圍進一步拓展到情緒負載詞。并且，本文研究擴大了伴語模態的范圍，證明了隱喻性手勢也能取得同樣促學效果。這主要是因為受試也可通過手勢“趨利避害”的隱喻圖式關聯到目標詞的情緒效價上，此時，他們就能進一步基于鏡像神經系統激活自身的相應內感受系統 (interoceptive system) (王興隆、亢世勇 2024)，從而也能產生感同身受般的具身情緒體驗，并據此進一步促進對目標詞的加工及習得。

5.2 面部表情、隱喻性手勢、面部表情+隱喻性手勢對二語情緒負載詞習得的影響

由數據可知，面部表情+隱喻性手勢組、面部表情組的二語情緒負載詞習得效果顯著優于隱喻性手勢組。首先，為什么面部表情比隱喻性手勢更有促學優勢呢？對此，我們比較認同 Oh Kruzic et al. (2020) 的觀點，即學生對教師面部表情的關注度大于手勢，前者更能吸引學生的有意注意，而注意資源的增多則意味著認知加工深度的增加，這是將信息從輸入轉為攝入的重要基礎。并且，在觀察到隱喻性手勢后，受試必須進行隱喻加工、邏輯轉換才能將隱喻圖式與情緒效價建立關聯，相對來說，這勢必會影響情緒信息的激活速度與質量。需要注意的是，雖然面部表情+隱喻性手勢疊加了兩種伴語模態，但與面部表情比較，卻并未表現出顯著優勢。相關研究 (Hietanen & Lepp?nen 2008；Aviezer et al. 2012) 顯示，手勢與面部表情搭配時，多模態之間經常會發生彼此干擾及認知資源爭奪現象 (王興隆等 2022)，這反而增加了部分受試的內在認知負荷，從而最終會削弱多伴語模態的整體效應。此外，面部表情與隱喻性手勢的情緒效價激活模式截然不同，前者是基于具身生理反應的“直接激活”，后者則需借助隱喻映射策略進行“間接激活”，這會在一定程度上抑制伴語模態融合的通暢程度，從而最終影響了部分目標詞的加工質量與習得效率。

5.3 情緒效價調控面部表情、隱喻性手勢、面部表情+隱喻性手勢對二語情緒負載詞習得的影響

數據顯示，情緒效價對面部表情、面部表情+隱喻性手勢的二語情緒負載詞習得影響具有明顯調控性。情緒效價對詞語習得的影響方面，學界大致存在積極偏向觀、消極偏向觀及無偏向觀 (王興隆、亢世勇 2024)。但上述觀點均是無伴語模態條件下的結論，本文進一步證明了在有伴語模態時情緒效價對目標詞習得的影響情況：面部表情、面部表情+隱喻性手勢條件下，消極效價詞的習得效果明顯優于積極效價詞，而隱喻性手勢條件下，消極、積極效價詞的習得效果并無明顯差距。這進一步豐富了情緒效價對詞語習得影響的研究。消極偏向(negative bias) 是在人類漫長進化過程中形成的一種穩定心理及神經機制，這是因為避免消極刺激 (如危險、威脅) 比追求積極刺激更基礎、更迫切 (Norris 2021)。本實驗中，消極面部表情輸出的是消極刺激，比積極面部表情更能吸引警覺性注意，有助于受試產生更快、更深的消極情緒體驗，從而進一步促進了消極效價詞的加工與習得。然而，消極偏向為什么在隱喻性手勢中的表現并不突出呢？由于其與情緒效價的關聯是間接的，情緒激活速度、質量均不如面部表情，這會抑制具身體驗情緒的產生，并由此進一步弱化或縮小積極、消極效價詞習得效果之間的差距。

6. 結語

本文通過實驗集中研究了伴語面部表情及隱喻性手勢對英語二語情緒負載詞習得的影響。實驗結果顯示：1) 有伴語模態 (面部表情、隱喻性手勢、面部表情 + 隱喻性手勢) 的整體促學效果顯著優于無伴語模態；2) 面部表情 + 隱喻性手勢、面部表情的促學效果均顯著優于隱喻性手勢，但前二者之間并無明顯差距；3) 情緒效價可以調控面部表情、面部表情+隱喻性手勢的促學表現。相較積極效價詞，當目標詞為消極效價詞時，面部表情、面部表情+隱喻性手勢的促學效果更優。

另外，本文發現無論是否搭配隱喻性手勢，面部表情均是二語情緒負載詞習得過程中的高效伴語模態，且對消極情緒負載詞的促學效果更佳。限于篇幅，本實驗并未涉及初級、高級水平二語學習者，也未考察目標詞習得的延時效果，因此，有關問題尚需進一步探討。

免責聲明：原文載于《現代外語》2025年第6期，版權歸作者所有，如有侵權，請及時聯系刪章。

轉載自：外語教師研究與專業發展公眾號