我校计较机学院（软件学院）刘瑞筹办员团队调处情怀计较限制著名学者、英国帝国理工大学Björn W. Schuller锻真金不怕火（IEEE Fellow）和香港华文大学（深圳）Haizhou Li锻真金不怕火（IEEE Fellow），提倡了一种新颖的基于共性对比学习的缺失模态联想收罗，权贵培植了缺失模态下多模态情怀识别的鲁棒性和准确率。 论文“Contrastive Learning based Modality-Invariant Feature Acquisition for Robust Multimodal Emotion Recognition with Missing Modalities”被IEEE情怀计较汇刊 IEEE Transactions on Affective Computing（IEEE-TAC）请托并在线发表。IEEE-TAC是情怀计较限制海外顶级期刊，中国东说念主工智能学会（CAAI）保举的A类学术期刊香港成人综合网站，影响因子为11.2。
缺失模态下的多模态情怀识别（Multimodal Emotion Recognition， MER）旨在模拟试验宇宙中模态信息缺失的哄骗场景，并通过探索可用模态的跨模态互补信息来意会东说念主类抒发情怀的形状。传统活动负责筹办了跨模态缺失模态联想历程中的多模态调处表征学习。联系词，由于“模态领域”问题，跨模态联想机制极易产生误差，东南亚呦从而影响联想的准确性，以及最终的识别性能。
图1 基于对比学习的模态不变特征学习框架香港成人综合网站
图2 不变特征赞成的缺失模态联想收罗（CIF-MMIN）
最初，该责任遐想了一种基于对比学习的学习战略，从全模态信息中索求基于对比学习的模态不变特征（Contrastive Learning-based Modality-Invariant Feature， CIF）。其次，咱们遐想了基于CIF的联想模块（CIF-based Imagination Module， CIF-IM），借助全模态不变特征的计算，结束缺失模态下鲁棒的缺失模态信息联想。终末，将联想的模态信息和可用的模态信息交融，以得到完成情怀识别所需的竣工信息。实验标明，咱们的模子在缺失模态情怀识别任务中彰着优于基线模子，为缺失模态情怀识别的发展提供了新的念念路。
fss 露出著作作家包括：刘瑞筹办员（第一作家），2022级博士生左昊麟（导师外第一作家），中国科学院自动化筹办所助理锻真金不怕火连政，英国帝国理工大学Björn W. Schuller锻真金不怕火，以及香港华文大学（深圳）Haizhou Li锻真金不怕火等。这项筹办得到了国度当然科学基金后生基金、内蒙古自治区“草原英才”工程形状、自治区留学东说念主员改变创业运行撑捏贪图、广东省数字孪生东说念主重心实验室（华南理工大学）绽放课题、内蒙古大学骏马贪图高端倪东说念主才引进形状、内蒙古自治区本级引进高端倪东说念主才科研撑捏等项计算撑捏。
论文网络：https://ieeexplore.ieee.org/document/10474146
供稿：计较机学院（软件学院） 剪辑：郑旻彤 审核：刘雪峰