ACM挑戰(zhàn)賽中榮獲雙料冠軍 孫曉團(tuán)隊(duì)多模態(tài)融合創(chuàng)新方案實(shí)現(xiàn)突破

在ACM國(guó)際多媒體會(huì)議（ACM Multimedia）2023年MuSe（多模態(tài)情感分析）挑戰(zhàn)賽中，合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院師生團(tuán)隊(duì)取得突出成績(jī)。在汪萌教授的統(tǒng)籌帶領(lǐng)及孫曉、李佳、樊春曉等多位老師的共同指導(dǎo)下，團(tuán)隊(duì)在“情緒反應(yīng)檢測(cè)”與“幽默檢測(cè)”兩個(gè)賽道中均榮獲第一名，展現(xiàn)出在多模態(tài)情感計(jì)算領(lǐng)域的扎實(shí)科研能力。

ACM MuSe2023多模態(tài)情感分析挑戰(zhàn)賽(幽默檢測(cè))冠軍

ACM MuSe2023多模態(tài)情感分析挑戰(zhàn)賽(情感分析）冠軍

MuSe挑戰(zhàn)賽由英國(guó)帝國(guó)理工學(xué)院、德國(guó)奧格斯堡大學(xué)等知名學(xué)術(shù)機(jī)構(gòu)組織，重點(diǎn)關(guān)注自然場(chǎng)景下的多模態(tài)情感分析。本屆賽事共吸引全球61支隊(duì)伍參與，包括帝國(guó)理工學(xué)院、南加州大學(xué)、中科院自動(dòng)化所等國(guó)內(nèi)外著名高校與研究機(jī)構(gòu)。

在情緒反應(yīng)檢測(cè)任務(wù)中，團(tuán)隊(duì)基于安徽進(jìn)化論科技有限公司首席科學(xué)家孫曉等老師的指導(dǎo)，提出了層次化多模態(tài)融合方案。該方案通過(guò)時(shí)序特征提取與跨模態(tài)對(duì)齊，增強(qiáng)了對(duì)情感細(xì)微變化的建模能力，在評(píng)測(cè)中表現(xiàn)出色，獲得該賽道冠軍。

在幽默檢測(cè)任務(wù)中，團(tuán)隊(duì)設(shè)計(jì)了基于注意力機(jī)制的多模態(tài)融合模型，該模型能有效捕捉幽默相關(guān)的跨模態(tài)特征，提升了自然場(chǎng)景下的幽默識(shí)別性能，同樣取得該賽道第一名。

孫曉 安徽進(jìn)化論科技有限公司首席科學(xué)家；合肥工業(yè)大學(xué)教授、博導(dǎo)

安徽進(jìn)化論科技有限公司首席科學(xué)家孫曉老師作為團(tuán)隊(duì)指導(dǎo)老師之一，在多模態(tài)機(jī)器學(xué)習(xí)領(lǐng)域具有豐富經(jīng)驗(yàn)。他在本次參賽過(guò)程中，協(xié)助團(tuán)隊(duì)明確了技術(shù)路線，并在特征融合、模型優(yōu)化等方面提供了專(zhuān)業(yè)指導(dǎo)，為項(xiàng)目推進(jìn)發(fā)揮了積極作用。

團(tuán)隊(duì)成員包括郎俊杰、高升、張梓洋、江月琪等研究生，以及安鎏瑋、鄒鵬、徐陽(yáng)陽(yáng)、卓泓毅等本科生，體現(xiàn)了學(xué)院在人才培養(yǎng)中的梯隊(duì)協(xié)作模式。相關(guān)工作成果已在ACM Multimedia會(huì)議上以論文形式發(fā)表。

ACM Multimedia是多媒體領(lǐng)域的國(guó)際重要會(huì)議。合肥工業(yè)大學(xué)團(tuán)隊(duì)在本屆賽事中獲得雙冠軍，體現(xiàn)了學(xué)校在人工智能交叉領(lǐng)域的科研水平，也為情感計(jì)算在實(shí)際應(yīng)用中的發(fā)展提供了有益參考。