上海元梦智能取得多模态情感识别专利提升情感分类和检测的准确性和鲁棒性

专利择要显示，本发明涉及语音识别和图像处理技能领域，本发明供应多模态情绪识别方法、装置、电子设备和存储介质，其方法包括步骤：对待识别工具的视频数据进行去重，获取所述待识别工具的人脸时序图像数据；在获取所述待识别工具的视频数据时，实时获取所述待识别工具的文本数据；将对齐后的所述人脸时序图像数据和所述文本数据输入至多模态情绪识别模型，以进行所述待识别工具的多模态情绪识别。
本发明通过实时获取虚拟人在和用户对话过程中用户的表情以及对话的文本内容，通过图像和文本旗子暗记联合输入的办法，获取多维度的丰富特色，来提升情绪分类和检测的准确性和鲁棒性。
特殊在正话反说，反讽等场景具有较高的准确率。

本文源自金融界