微表情是一种短暂的、微弱的、无意识的面部微表情,持续时间往往在0.5s内,能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能,能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低,对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究,由中国图象图形学学会(CSIG)和中国科学院心理研究所举办、CSIG机器视觉专业委员会、CSIG情感计算与理解专业委员会和中科院青促会心理所小组联合承办,中国科学院心理研究所的王甦菁博士组织一系列云上微表情的学术活动。
第四十三期云上微表情将于2023年08月31日晚上7点进行,由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自电子科技大学的在读博士生余旺旺介绍在李永杰教授指导下发表在IEEE Transactions on Affective Computing等期刊、会议上的微表情检测相关工作,报告主题为:从视频理解到表情定位。
讲者简介
余旺旺,电子科技大学生物医学工程在读博士,师从李永杰教授,所在课题组为:神经信息教育部重点实验室(Key Laboratory for NeuroInformation of Ministry of Education),视觉认知与类脑计算中心( Visual Cognition and Brain-Inspired Computation,ViCBiC),主要研究方向:视频理解和情感计算。
报告题目:Diverse local facial behaviors learning from enhanced expression flow for micro-expression recognition
目前大多数微表情和宏表情定位都是从全部或部分原始图像中提取手工特征或裁剪特定区域来定位高响应区域。然而,这些方法要么忽略了连续的时间信息,要么将人类固有的运动模式(背景)建模为前景。因此,我们尝试从目标检测和视频动作定位中获取灵感,模仿上述两个领域的流程,设计微表情和宏表情定位的新范式。在本文中我们提出了一种新颖的双流网络,名为LGSNet,它将光流和视频中的片段级特征作为输入并进行融合。另外,LGSNet 采用anchor机制编码表情间隔,并选择偏差作为优化对象。然后,我们还引入了〖”TMRF” 〗^3M和LSGEM,这有助于更精确地发现短间隔并抑制背景信息。为了进一步突出正样本和负样本之间的差异,我们在一些丢弃的滑动窗口上设置了大量随机伪标签(背景片段),以完成背景片段建模,从而抵消非表情性面部和头部运动的影响。实验结果表明,我们提出的LGSNet在 CAS(ME)^2 、 CAS(ME)”^3和 SAMM-LV 数据集上达到了最先进的性能。
1.Yu, W. W., Jiang, J., & Li, Y. J. (2021, October). LSSNet: A two-stream convolutional neural network for spotting macro-and micro-expression in long videos. In Proceedings of the 29th ACM International Conference on Multimedia (pp. 4745-4749).
2.Yu, W. W., Jiang, J., Yang, K. F., Yan, H. M., & Li, Y. J. (2023). LGSNet: A Two-Stream Network for Micro-and Macro-Expression Spotting With Background Modeling. IEEE Transactions on Affective Computing.