面向多模态情感识别的动态表征增强方法

现有面向情感理解的多模态大语言模型能够从视频和音频中获得高层语义信息，但短时动态信息可能在表征过程中被压缩，或需要由语言模型骨干网络隐式恢复。

然而在情感识别中，面部运动、局部外观变化、韵律、响度、音高和声音质量等信号本身会随时间变化。

DynaMER 因此研究：是否可以在语言解码之前，直接将这些动态信息建模为显式表征。

DynaMER 将每个模态的信息拆分为两种互补视角。

全局表征（Global Representations）负责捕获高层语义上下文。

动态表征（Dynamic Representations）则显式编码可能在语义压缩后难以恢复的短时变化信息。

在视觉侧，DynaMER 使用视频编码中的运动向量与预测残差描述局部运动及外观变化。

在声学侧，系统建模与韵律和声音质量相关的声学描述符随时间的变化。

随后，这些时间对齐的表征通过 Dynamic–Global Routed Prefusion 进行融合，再进入语言模型接口。