RMER -DT基于扩散网络与Transformer架构的鲁棒性多模态对话情感识别摘要1. 介绍2.相关工作2.1 多模态情感识别架构2.2. 传统的缺失模态填补方法2.3 缺失模态恢复的扩散模型3. 方法3.1 特征提取3.2 模态编码器3.2.1 位置嵌入3.2.2 说话者嵌入3.2.3 跨模态transformers3.3 网络模态扩散模型3.4 融合与分类3.5 单模态门控融合3.6 多模态层面的门控融合3.7 损失4. 基线模型和评估指标4.1 基线模型4.2 评估指标5. 实验和分析5.1 实验设置5.2 数据集5.3 总体性能分析5.3.1 在 IEMOCAP数据集上的性能表现5.3.2 在 MELD数据集上的性能表现5.4 分类性能分析5.5 消融研究5.5.1 模态消融实验5.5.2 模型消融5.6 不同缺失率下的性能分析5.7 定性结果5.8 案例分析6. 结论摘要随着数字时代的不断发展多模态情感识别MER技术在智能交互和心理健康评估等领域变得愈发重要。然而在对话场景中进行情感识别仍面临诸多挑战尤其是在有效处理缺失的多模态数据方面。为解决这一问题我们提出了 RMER -DT基于扩散模型与Transformer架构的对话场景鲁棒多模态情感识别模型这是一种专为对话环境中实现精准情感识别而设计的新型MER模型专门针对随机模态缺失的问题。为提升基于上下文对话的多模态情感识别性能 RMER -DT引入了创新的数据恢复策略和优化框架。通过融合扩散模型与Transformer技术该模型能够有效恢复并整合音频、面部表情及文本等多种模态数据。此外 RMER -DT还通过引入位置嵌入向量和说话人嵌入向量增强了不同模态之间的语义交互与表征关系。在MELD和IEMOCAP数据集上的实验结果表明相较于现有技术 RMER -DT在处理MER任务以及提升情感识别准确性和鲁棒性方面均展现出显著优势。1. 介绍人机交互HCI系统的快速发展已使多模态情感识别MER成为从情感计算到心理健康诊断等应用领域的核心技术[1–4]。通过整合语音韵律、面部表情及语言内容等异构信号MER系统旨在以类人类的敏锐度解码复杂的情感状态[5–8]。这一能力在对话场景中尤为关键——动态交流需要实时解析多模态线索以实现富有同理心的人机交互[9–11]。然而此类系统的实际部署仍面临一个持续存在的挑战现实环境中多模态数据处理流程固有的脆弱性。传感器故障、传输错误以及选择性数据采集常导致部分模态信息缺失我们称之为“随机模态缺失”。这一问题会破坏跨模态协同效应从而影响情感识别系统的可靠性而这种协同效应对准确推理至关重要[12–14]。人机交互HCI系统的快速发展已使多模态情感识别MER成为从情感计算到心理健康诊断等应用领域的核心技术[1–4]。通过整合语音韵律、面部表情及语言内容等异构信号MER系统旨在以类人类的敏锐度解码复杂的情感状态[5–8]。这一能力在对话场景中尤为关键——动态交流需要实时解析多模态线索以实现富有同理心的人机交互[9–11]。然而此类系统的实际部署仍面临一个持续存在的挑战现实环境中多模态数据处理流程固有的脆弱性。传感器故障、传输错误以及选择性数据采集常导致部分模态信息缺失我们将其称为“随机模态缺失”现象。模态缺失带来的影响具有双重性。首先不完整的数据流迫使模型基于次优输入进行运算从而降低其判别能力。例如在讽刺识别任务中这种现象尤为明显。这项任务要求词汇内容与语音语调之间实现紧密协调当缺乏音频特征时极易出错[15]。其次数据缺失的随机性使得构建稳健的联合表征变得复杂因为模型必须应对可用模态间的多种组合变化。传统的解决方案包括零插补法[16]或模态丢弃训练[17]由于无法重建语义连贯的多模态上下文在对话场景中效果不佳。而生成对抗网络GANs[18]虽能提升数据插补能力但存在训练不稳定的问题且容易生成多样性不足的样本从而扭曲情感语义[19,20]。现有应对对话场景中模态缺失问题的技术主要分为两大类。确定性填补方法如训练过程中的零值填充或特征丢弃虽然操作简单但存在偏见问题且无法有效建模对话数据流固有的不确定性基于生成对抗网络GAN的方法虽能合成缺失输入却普遍存在模式坍缩、训练动态不稳定以及样本多样性不足等问题这些缺陷常会扭曲细微的情感线索。相比之下我们的条件扩散框架采用概率生成机制能够迭代优化含噪声的填补结果以系统化的方式捕捉复杂的跨模态关联与不确定性。通过直接对比这两种范式可以明显看出基于扩散的填补方法相较于确定性方法和GAN基方法均具有显著优势这为将其整合到我们的MER流程中提供了有力依据。除了数据缺失带来的挑战外要在对话中实现有效的多模态情感识别MER还需要对三个相互关联的维度进行复杂的建模对话轮次间情绪升级的时间动态变化、说话者特有的表达模式[21,22]以及可能反映复杂情感状态的跨模态矛盾现象。现有的基于图结构的架构如DialogueGCN[9]虽能捕捉说话者之间的依赖关系但缺乏处理模态缺失的机制而基于Transformer的模型[23,24]虽然在跨模态注意力机制方面表现优异但在输入数据不完整时却难以发挥优势。这导致实验优化模型与实际应用之间存在显著差距。鉴于这些需求我们提出了一种新型多模态模型—— RMER -DT基于扩散网络和Transformer的对话场景下鲁棒多模态情感识别。我们的方法将扩散模型的生成能力与基于Transformer的层次化融合机制相结合以应对随机模态缺失和复杂的对话动态。具体而言 RMER -DT利用条件扩散过程以稳定且概率化的方式迭代重建缺失的对话通道。该模型不依赖单步插值或对抗性目标而是通过基于可用模态信息的迭代去噪[25]来优化噪声样本从而生成真实且符合上下文特征的重构结果。基于这些重构后的模态特征一个双层变换器网络将说话人嵌入向量与位置嵌入向量相结合以捕捉情感的逐轮演变过程及每位说话人的独特表达风格。随后门控交叉注意力模块动态调整观测特征与推断特征的相对重要性权重从而增强模型对重构不确定性下的鲁棒性。本文的主要贡献如下我们提出了一种基于条件扩散的插补模块该模块通过迭代去除噪声特征中的干扰信号来概率性重建缺失模态数据从而有效捕捉跨模态不确定性并在性能上超越了确定性方法和基于生成对抗网络GAN的方法我们设计了一种层次化Transformer融合架构该架构整合了正弦位置嵌入、可训练说话人嵌入以及门控交叉注意力机制——能够在建模对话过程时动态平衡重构模态与观测模态之间的关系。我们在IEMOCAP和MELD基准测试中展示了针对不同数据缺失场景下的顶尖性能并通过全面的消融实验与可解释性分析进一步验证了扩散组件与融合组件的有效性。2.相关工作2.1 多模态情感识别架构早期的多模态情感识别MER系统主要采用特征拼接和后期融合等简单的融合策略将文本、音频和视觉线索进行整合[5,26]。更先进的深度学习框架则为每种模态设计了专用架构——文本领域使用TextCNN[27]和EmoBERTa[28]音频领域采用基于OpenSMILE的编码器视觉领域则使用DenseNet骨干网络——并通过联合表征学习实现各模态信息的融合[23,24]。基于图结构的方法如DialogueGCN[9]和LR- GCN [29]能明确建模对话中的说话者关系与时间依赖性循环神经网络变体如bc- LSTM [5]和DialogueRNN[30]则可捕捉逐轮对话的序列动态特征。混合注意力网络如M2FNet[31]和CT-Net[32]进一步优化了跨模态交互机制但这些模型均假设所有模态数据均可用且缺乏处理缺失数据的明确机制。2.2. 传统的缺失模态填补方法为应对部分模态缺失问题零填补和模态丢弃等确定性方法已被广泛采用[16,17]但这些方法会引入偏差且无法建模不确定性。生成对抗网络GAN被提出用于合成缺失的语音流[18,33]但存在模态坍缩和训练不稳定的问题常产生多样性较低的输出[19,20]。基于标签的Transformer模型如TATE[34]及纯序列模型如 MSGFN [35]通过编码缺失模式来增强鲁棒性但忽略了说话人或位置上下文信息。模态转换方案MTMSA [13]、 MRAN [36]以及对比自编码器如 CBERL [37]通过引入重构损失促进数据恢复但在高缺失率下性能下降并会在对话轮次间传播误差。2.3 缺失模态恢复的扩散模型扩散概率模型已成为数据填补领域一种具有理论依据的替代方案其通过迭代去噪过程生成高保真样本[25,38]。与单次生成对抗网络GAN填补方法不同扩散模型利用一系列小高斯扰动来逼近数据流形并通过逆时间随机微分方程SDE恢复缺失特征从而捕捉不确定性及复杂的跨模态相关性[19,20]。该方法在医学影像和跨模态合成领域的应用充分展现了其稳定性和样本多样性推动了其首次应用于对话式医学影像重建MER[39]。我们的研究在此基础上进一步创新通过轻量级Transformer编码器将扩散恢复过程与可用模态条件相结合即使在严重模态丢失的情况下仍能实现稳健的重建。3. 方法在本研究中我们提出了一种名为 RMER -DT的鲁棒多模态情感识别方法该方法将扩散模型与分层Transformer架构相结合以实现多模态数据的稳健重构与智能融合。其核心目标在于提升对话场景中的情感识别能力尤其针对不同模态随机缺失所带来的挑战。如图1所示整个流程首先从文本、视觉和音频输入中提取独特特征为后续数据处理奠定基础这些优化后的特征随后通过双层Transformer网络进行处理该网络融合了位置信息和说话人特定嵌入向量以捕捉对话过程中各模态间的动态交互关系条件扩散过程则基于概率机制重建缺失的模态信息确保数据完整性和上下文相关性最后门控交叉注意力机制可动态评估并整合各模态的贡献度增强模型对数据可用性与质量变化的适应能力。这种结构化设计不仅显著提升了模型的鲁棒性还优化了情感识别的准确率与运行效率。3.1 特征提取为从异构模态中提取判别性特征我们分别为文本、音频和视觉输入采用了领域特定的编码器。对于文本模态语音片段使用RoBERTaLarge[40]进行编码其最终层生成的[ CLS ]标记嵌入向量构成1024维文本特征声学特征通过OpenSMILE[41]提取该方法计算包含音高、MFCC和强度在内的1582维低级描述符LLDs视觉帧则采用基于FER[43]预训练的 DenseNet-121[42]处理生成342维面部表情嵌入向量。为将各模态特征统一至同一空间每个特征流均先经过核大小为1的一维卷积层再进行层归一化处理从而确保后续处理中的维度一致性输出维度 1024。3.2 模态编码器3.2.1 位置嵌入为明确编码对话话语之间的序列顺序及时间依赖关系我们采用正弦位置编码将相对位置信息与绝对位置信息均注入模态表征中的嵌入表示。给定 个语句的序列第 th 个语句在维度 处的位置嵌入向量计算如下其中 ∈{1,2 … }表示话语索引 代表嵌入维度 ∈{0,1 …⌊ ∕2⌋−1}用于指定维度。该公式通过在交替维度上交织正弦与余弦函数生成独特的位置特征使模型能够区分对话序列中的相对距离与绝对位置[44]。3.2.2 说话者嵌入为捕捉特定说话人的特征及互动模式我们引入了可训练的说话人嵌入表示该表示将参与者身份映射至潜在特征空间。设 表示与 名不同参与者对话中的 th 唯一说话人。该说话人嵌入通过以下方式获得3.2.3 跨模态transformers为建模跨模态交互并学习文本、音频和视觉三种模态之间的互补表征[46]我们设计了采用多头交叉注意力机制的跨模态transformers。设 ∈ R× 表示第 层中模态 ∈{ }对应的特定模态隐藏状态。对于每对模态 其中 其跨模态注意力值计算公式如下3.3 网络模态扩散模型我们在 个时间步长内采用一种保持方差的线性噪声调度方案。在每个训练步骤中我们均匀采样 ∼ V {1… }并生成含噪声的输入数据。随后评分网络 通过去噪评分匹配损失等式19来预测噪声 从而确保对每个噪声水平都能获得准确的梯度估计。为整合观测模态 1 obs及时间步长信息我们首先采用正弦时间嵌入函数对 进行嵌入。随后我们将[ 1 obs ]进行拼接并将其输入轻量级Transformer模块。最终通过LayerNorm层得到条件向量。该向量与含噪声样本一同输入评分网络。评分网络 旨在建模缺失模态 ∈ I miss的分布情况其中 I miss表示所有缺失模态的集合。模态数据 的扰动由一个随机微分方程描述。其中 表示时间 处的波动系数 1 obs代表观测到的模态类型 为模态 评分网络的参数。当存在多种模态如文本模态与视觉模态 、 时声学模态可通过逆时间 SDE 进行重建如表1所示。融合后的特征向量通过将 与 拼接后再输入一个核尺寸为1的一维卷积层而获得。其中 服从 N (0I )分布 表示离散时间步长。协方差矩阵 为单位矩阵表明各维度相互独立且每个维度的方差均为1。逆时间 SDE 采用Euler–Maruyama求解该数值方法适用于随机微分方程的简单离散化。缺失数据 生成后会通过重建模块 进行优化处理最终得到恢复的声学模态 。重建损失 rec 的计算方法如下评分匹配目标 score 是在缺失模式条件下定义的旨在优化评分网络其中 为扩散过程中的最大时间。为有效将有效模态整合至样本生成过程中本研究采用了跨模态注意力机制其定义如下其中 ir I irobs 且 I irobs 。参数 和 为可学习矩阵用于将中间表征投影至联合嵌入空间从而促进不同模态间信息的融合。3.4 融合与分类在层次化门控融合模块[48,49]中我们提出了一种双层架构方案通过单模态与多模态层面共同提升序列表征质量。该架构旨在有效管理和整合不同模态间的信息从而实现对多模态数据更深入、更细致的理解。3.5 单模态门控融合在单模态层面我们的模块采用门控机制来选择性过滤各模态内的信息其中 → ∈ R× 表示权重矩阵 表示Sigmoid函数 → 为门控因子。该机制对于突出各模态中的关键特征并抑制低信息量特征至关重要。经过门控处理后各模态的增强表征被拼接并通过全连接层进行处理最终合成精炼的 模态序列表征。3.6 多模态层面的门控融合在多模态层面基于softmax的门控机制可动态调整每个句子中不同模态之间的权重。其中 ∈ R× 为权重矩阵。该机制不仅能优化各模态的贡献度还能适应句子的具体语境。本模块的最后一个组成部分是情感分类器该分类器利用整合后的多模态表征来预测情感状态。其工作原理如下其中 和 是经过训练的参数用于将融合后的特征表示映射到情感类别。该分类器旨在输出对 种可能情感的概率分布从而最大化情感预测的准确率。3.7 损失总损失函数同时包含了分类目标和扩散目标。任务损失用于情感预测的标准交叉熵评分匹配损失利用可用模态引导扩散过程重建损失确保生成特征的保真度融合表示 ∗∑ ⋅ ′ 其中 softmax ′ 输入线性分类器用于最终的情感预测。4. 基线模型和评估指标4.1 基线模型为建立全面的性能基准我们将 RMER -DT与涵盖4个方法类别的12种前沿方法进行了比较。4.2 评估指标为评估 RMER -DT模型与基线模型的性能我们采用以下评估指标加权准确率WAA衡量整体分类准确度并根据各类别样本数量进行加权处理以解决数据集不平衡问题。该指标对于MELD等数据集尤为重要因为这些数据集中的情感类别存在显著的类别不平衡现象。加权F1分数WAF1精确率与召回率的调和平均值按类别支持度进行加权。WAF1通过惩罚在少数类别上表现不佳的模型为模型性能提供平衡评估尤其适用于不平衡数据集。MacroF1分数所有类别F1分数的未加权平均值。该指标对所有类别一视同仁有助于了解模型处理训练数据中代表性不足的罕见情绪如恐惧、厌恶的能力。混淆矩阵分析可视化各类别的分类性能突出误分类模式例如快乐与兴奋等高唤醒情绪之间的混淆。缺失率鲁棒性评估模型在不同模态缺失率10%–70%下的性能表现以 WAA 和WAF1的相对下降值衡量。该指标评估模型在数据缺失普遍存在的实际场景中的适用性。这些指标共同提供了模型性能的整体视角在整体准确率与类别不平衡敏感性及缺失数据鲁棒性之间取得平衡。5. 实验和分析5.1 实验设置模态扩散模块采用了包含线性噪声调度 (min 0.1max 20). 的50步方差保持 SDE 。基于UNet的评分网络包含6个带有通道乘数[1,2,4,8]的残差块并采用组归一化和SiLU激活函数。交叉注意力条件层通过一维卷积将观测到的模态映射至8个注意力头。每个模态编码器均使用2个具有8个注意力头head 128的Transformer层位置嵌入采用标准正弦编码说话人嵌入则为维度为1024的学习向量。门控融合模块采用温度缩放softmax函数 0.5进行置信度加权。模型使用AdamW优化器 (1 0.92 0.98) 训练40个周期并在前1000步进行线性预热学习率在余弦衰减条件下达到峰值5×10⁻⁴。批量大小因数据集而异IEMOCAP数据集5秒片段使用32个样本MELD数据集3秒片段使用64个样本。损失平衡因子 通过网格搜索经验性地设定为0.3所有Transformer层均采用0.1的dropout率。实验在配备128GB内存和 NVIDIA RTX 3090 Ti显卡的Intel Core i9-10980XE处理器3.00GHz上运行Ubuntu 22.04系统使用PyTorch 2.0框架配合 CUDA 11.7加速实现 RMER -DT算法。为确保可重复性所有实验均采用固定随机种子。5.2 数据集我们在两个广泛使用的多模态情感识别基准测试中评估了 RMER -DT算法。IEMOCAP[50]交互式情感二元动作捕捉数据集包含约12小时的视听数据涵盖10位演员参与的剧本化与即兴对话场景。共划分6种情绪类别快乐、悲伤、中性、愤怒、兴奋、沮丧类别分布均衡其中沮丧情绪最为常见。采用高质量多模态录音技术可实现不同模态间的精准对齐对话场景丰富包含轮转发言及说话者互动细节。MELD[5]多模态EmotionLines数据集在EmotionLines基础上扩展了多模态特征收录了《老友记》电视剧中的1400多段对话及13,000条语音片段涵盖7种情绪类别中性、惊讶、恐惧、悲伤、喜悦、厌恶、愤怒。类别分布极不均衡其中中性情绪占比最高超过50%样本由于摄像角度和光照条件变化视觉数据存在噪声干扰包含讽刺、反讽等复杂情感表达需具备精细的多模态理解能力。两个数据集均经过预处理以确保模态对齐和特征提取的一致性。对于IEMOCAP数据集我们采用标准的5折交叉验证方案而MELD数据集则使用预定义的训练/验证/测试划分方式进行评估。这些数据集共同构成了一个严谨的测试平台用于评估 RMER -DT在处理多样化情感表达、对话动态以及模态缺失情况方面的能力。5.3 总体性能分析5.3.1 在 IEMOCAP数据集上的性能表现如表2所示 RMER -DT模型在IEMOCAP基准测试中实现了业界领先的表现加权准确率WAA达72.03%加权F1分数WAF1达72.28%这些指标均超越了本研究中评估的所有基线模型。分析结果揭示了 RMER -DT的几大核心优势对细微情绪的卓越处理能力—— RMER -DT对细微情绪的精准处理 RMER -DT在需要对复杂情感线索进行细致解析的类别如悲伤和中性中表现尤为出色。该模型在这两个类别的F1分数分别达到85.11%和70.86%超越了最接近的竞争模型——DialogueGCN悲伤类别F1分数为84.45%和M2FNet中性类别F1分数为66.31%。这一性能优势源于其创新的基于扩散的插补技术能够有效捕捉诸如抑制性发声颤抖等细微但具有区分性的特征这些特征通常与悲伤情绪相关。对情绪强度变化的稳健性在高唤醒度类别如愤怒和兴奋中 RMER -DT的表现优于其他模型F1分数分别为74.45%和79.79%表明其在建模情绪强度变化方面具有强健性这很可能归功于其具备说话人感知能力的Transformer架构。该架构能灵活定制嵌入空间显著降低相似唤醒水平下的误分类风险。跨类别性能一致性与其他模型不同 RMER -DT在不同情绪状态下的表现波动极小。其F1分数范围在68.11%至85.11%之间体现了稳定且高效的情感多模态融合能力这与DialogueRNN等模型形成鲜明对比——后者在不同情绪类别间的F1分数差异显著范围从33.11%到78.85%。5.3.2 在 MELD数据集上的性能表现如表3所示 RMER -DT在MELD数据集上建立了基准模型其加权准确率WAA最高达67.85%加权F1分数WAF1为67.02%。这些结果表明该模型相较于 CBERL 模型实现了微小但显著的提升—— WAA 提高0.67%WAF1提高0.13%从而确立了新的前沿评估指标。分析结果凸显了 RMER -DT模型在处理多模态情感数据方面的多项优势。高效稀有类别识别 RMER -DT在识别恐惧和厌恶等低频情感类别方面表现卓越其F1分数分别为22.45%和24.80%远高于M2FNet的性能并与 CBERL 的表现几乎持平或略胜一筹。这一优异性能归功于模型采用的基于扩散的概率插补方法能为代表性不足的类别生成合理的特征以及一种可靠性加权融合机制可防止强模式特征掩盖细微特征。上下文消歧能力 RMER -DT在对话中消除情感上下文歧义方面表现优异尤其在涉及喜悦情绪模糊表达的场景中。其在喜悦情绪识别任务中的F1分数达到69.82%高于EmoBERTa的61.77%。这一优势源于该模型采用的位置嵌入技术能够追踪情感变化轨迹。对话结构的转变从而增强了其区分真实喜悦表达与讽刺性喜悦表达的能力对模态特异性噪声的抗干扰能力尽管MELD视觉数据本身存在固有噪声 RMER -DT仍保持出色的性能表现尤其在中性类别中F1分数达到83.15%略高于 CBERL 。这种抗干扰能力得益于模型的跨模态注意力机制——该机制能有效降低不可靠重建视觉特征的权重从而确保在不同模态输入下均能实现更精准的预测效果。5.4 分类性能分析图2(a)展示了 RMER-DT模型在IEMOCAP数据集上的归一化混淆矩阵行百分比。该模型在大多数情感类别中表现优异尤其在悲伤类别的F1分数达到84.45%愤怒类别达到74.45%这验证了扩散模型在提取声学特征如声音的深浅变化和面部微表情如皱眉方面的有效性。然而快乐与兴奋类别之间存在显著混淆共30次误分类这很可能源于高唤醒情绪在语音频谱和身体动作上的相似性例如兴奋时加快的语速和升高的音调可能被误判为快乐的表现。此外中性情绪被错误分类为沮丧情绪的情况达60次凸显了对话场景中情感模糊性的挑战——中性面部表情可能伴随细微的沮丧语气因此需要更精细的跨模态对齐处理。图2(b)中的MELD混淆矩阵显示该模型在区分“中性”和“愉悦”类别时表现最佳F1值分别为82.15%和65.82%。然而“恐惧”和“厌恶”的识别率明显较低F1值分别为22.45%和24.80%主要归因于两个原因数据不平衡——在MELD数据集中“恐惧”和“厌恶”的样本占比分别仅为1.8%和2.1%导致模型学习效果不足跨模态差异——“恐惧”通常伴随高音调语音和僵硬表情而“厌恶”则主要表现为鼻音褶皱和低沉语调。但在某些场景如“厌恶但假装快乐”中视觉与听觉信号存在冲突进一步加剧了分类难度。5.5 消融研究5.5.1 模态消融实验对IEMOCAP数据集进行的模态消融实验结果表4表明完整的多模态配置TVA能够实现最佳性能准确率72.03%加权F1值72.28%这凸显了文本、视觉和声学模态在情感识别中的互补性。值得注意的是任何单一模态的缺失都会导致性能下降其中视觉模态(V)的缺失影响最为显著当仅使用TA时准确率降至71.49%。这说明面部表情提供了关键的判别线索尤其是对于悲伤和愤怒等情绪——这类情绪通常具有独特的视觉特征如眉头紧锁、嘴唇下垂。然而仅使用文本的配置(T)仍能取得优异表现准确率68.48%这表明语言内容中蕴含着丰富的语义信息尤其对于中性情绪和沮丧情绪而言词汇选择如讽刺语、否定词起着关键作用。在MELD数据集表5中完整的多模态配置方案TVA再次超越所有部分模态组合实现了67.28%的准确率和66.05%的加权F1值。文本-声学结合方案TA表现也相当出色准确率66.74%这表明语音韵律与语言内容在此数据集中具有显著协同效应——这很可能源于该数据集中大量讽刺性和反讽性表达需要语音语调与言语含义高度一致。视觉模态(V)单独使用时效果有限准确率48.65%这反映了相较于IEMOCAP数据集MELD的视觉数据噪声更多且表达力较弱。然而将其纳入完整模型仍可提升0.81%的准确率说明即使细微的视觉线索与更强模态信息结合也能增强分类效果。这些结果共同证实了多模态整合的必要性以及我们基于扩散机制的恢复方法在处理部分模态缺失情况下的稳健性。5.5.2 模型消融在IEMOCAP数据集上的消融实验结果表6表明跨transformer模块与门融合模块对 RMER -DT模型性能具有关键贡献。移除跨transformer模块后准确率下降1.72%从72.03%降至70.31%这进一步凸显了这两个模块的重要性。该机制在捕捉精细的跨模态交互方面发挥着关键作用尤其适用于兴奋、沮丧等情绪场景——这类场景中时间动态变化与不同模态之间的矛盾尤为显著。同样地禁用门融合机制会使准确率下降1.34%充分凸显了其根据模态可靠性动态调整贡献权重的重要性。当两个组件均被移除后模型准确率进一步降至69.61%这证实了二者在提升模型鲁棒性方面的协同效应。在MELD数据集表7中缺失跨transformer会导致准确率下降1.65%从67.43%降至65.78%这凸显了该组件在建模长距离依赖关系及上下文线索方面的重要性尤其对于讽刺性喜悦和中性挫败感等模糊情感。门控融合模块同样不可或缺——移除该模块会使准确率下降0.69%因其能有效缓解噪声或不可靠模态如低质量视觉数据带来的影响同时移除这两个组件会使得准确率进一步下降3.24%充分体现了它们在实现稳健多模态融合中的互补作用。这些结果验证了 RMER -DT的架构设计及其处理现实世界对话情感识别复杂性的能力。5.6 不同缺失率下的性能分析图3全面分析了不同缺失率包括 MSFGN 、 MTMSA 、TATE、 MRAN 以及我们的模型下各类模型在IEMOCAP和MELD数据集上的性能表现。该图表清晰展示了我们提出的模型具有出色的稳健性和可靠性尤其在处理不同缺失率时更为明显。加权F1值与MacroF1值性能对比见IEMOCAP图3(a)和3©我们的模型始终表现优于其他模型在所有缺失率类别中均保持较高的加权F1值和宏F1值。值得注意的是当缺失率升高时其他模型的性能会显著下降而我们的模型则呈现更为平缓的衰退趋势这凸显了其处理不完整数据时的稳健性。这一优势源于扩散模型即使在高缺失率条件下仍能生成合理的数据填补结果确保模型即便面对某些数据模态缺失仍能做出准确预测。准确率分数见IEMOCAP图3(e)基于缺失率计算的Ace评分进一步证实了我们模型的优越性。尽管较高的缺失率会增加模型复杂度但与其他替代方案相比我们的模型准确率下降幅度显著更小。这不仅体现了该模型不仅能够有效处理数据稀疏性还具备保持情感识别完整性的能力。扩散模型的迭代去噪过程可确保重建出的模态既多样化又符合上下文逻辑从而降低缺失数据对最终分类性能的影响。如图3(b)、3(d)和3(f)所示我们的模型在不同缺失率条件下均在MELD数据集上展现出优异性能。论在IEMOCAP数据集上加权F1分数与Macro F1分数也表现出了相似的趋势。尽管缺失数据率持续上升我们的模型仍保持了优于其他模型的性能水平。这种稳健性在情感识别至关重要的场景中尤为关键——例如现实世界中数据往往存在不完整或噪声干扰的情况。扩散模型生成合理数据填补结果的能力对维持高性能表现起着关键作用在处理多样且不完整的数据集时展现出显著优势。MELD数据集上的准确率结果进一步证实了我们模型的有效性。即使在数据缺失严重的极端情况下模型的准确率下降幅度也较为轻微。这一点尤其值得关注因为MELD数据集具有复杂性——其对话场景中涉及更为微妙的情感互动关系。扩散模型能够迭代优化并消除不完整数据中的噪声干扰从而更精准地捕捉对话中的情感语境使得情感识别结果更加可靠。5.7 定性结果图4直观展示了在固定缺失协议条件下不同数据恢复方法在数据恢复效果及实际数据分布上的对比情况。我们从IEMOCAP数据集的测试集中随机选取了500个样本并采用t-SNE方法[51]将这些样本的特征映射到二维空间中。这些可视化结果清晰地体现了我们提出的恢复方法的有效性。分析表明通过我们的方法估算出的原始数据与恢复后数据的分布特征高度吻合远优于其他方法。这种高度一致性充分证明了我们的方法能够显著缩小恢复数据与原始数据之间的分布差异。实验结果凸显了该方法在还原数据内在结构方面的精准度——这对于确保后续分析过程的完整性至关重要。这种有效缩小分布差距的能力不仅提升了恢复数据的可靠性也表明我们的方法可广泛应用于所有需要保障数据完整性的数据集场景。5.8 案例分析表8展示了包括DialogRNN、DialogueGCN以及我们提出的模型称为“我们的模型” 仅文本在内的多种模型的性能表现。在从MELD数据集中的选定对话中识别情绪方面我们的模型展现出卓越的表现。这充分体现了我们模型对情感细微差别的精准把握能力尤其是在仅依赖文本输入的情况下。通过对比分析MELD数据集的情感识别性能我们的模型展现出显著优势例如在对话第一轮说话者为乔伊中尽管包括DialogueGCN和DialogRNN在内的大多数模型均错误地预测为“惊讶”而我们的模型却准确识别出真实情感“悲伤”这凸显了其仅凭文本就能捕捉情感细微差异的卓越能力——这对于其他线索可能含糊不清的场景尤为重要在第二轮对话说话者为钱德勒中所有模型均一致识别出“悲伤”表明文本表达清晰明确模型已具备良好的识别能力第三轮对话说话者为莫妮卡则存在挑战真实情感为“中性”但DialogueGCN和DialogRNN均将其误判为“惊讶”而我们的模型成功识别出“中性”彰显了其对微妙对话细节的稳健性和敏感性最具挑战性的第四轮对话说话者为菲比中真实情感为“厌恶”而DialogueGCN和DialogRNN均预测为“中性”我们的模型则准确识别出“厌恶”充分证明其在解析其他模型可能忽略的复杂情感线索方面的有效性。本分析不仅体现了我们模型在情绪识别方面的精确性还展现了其在需要精准情绪理解的应用场景中的潜力。我们的模型性能表明其具备深度的情境理解能力能够处理对话中可能具有情境特异性的细微差异。该模型不仅能识别显而易见的情感表达还能捕捉那些高度依赖对话情境的微妙变化。尽管仅使用文本数据我们的模型仍能与具备多模态数据支持的其他模型有效竞争这证明基于文本的处理方法不仅足够有效在需要额外模态信息反而可能引入干扰而非增强清晰度的场景中甚至可能更具优势。无论对话主题或说话者风格如何变化该模型都能灵活适应不同的情感表达方式展现出极强的适用性。6. 结论本研究中我们提出了 RMER-DT——一个稳健的多模态情感识别框架旨在应对对话场景中随机模态缺失及上下文复杂性带来的关键挑战。通过将扩散模型与分层Transformer相结合 RMER-DT在IEMOCAP和MELD数据集上实现了业界领先的表现显著提升了准确率、鲁棒性和可解释性。该框架创新性的基于扩散的恢复机制利用扩散模型的迭代去噪过程采用概率插值方法有效重建缺失模态从而实现多样化且符合上下文的数据恢复在稳定性和保真度方面均优于传统的GAN基方法。在双层Transformer架构中引入位置嵌入和说话人嵌入使 RMER -DT能够捕捉时间动态特征与个性化表达模式显著提升了其处理复杂对话场景的能力。门控交叉注意力机制根据输入模态与观测模态的可靠性动态调整其贡献度有效抑制误差传播并增强模型在高缺失率下的鲁棒性。大量实验表明 RMER -DT优于12种最先进的基线模型在讽刺语检测和罕见情感识别等困难任务中均展现出显著性能提升。消融实验进一步验证了各架构组件的重要性定性分析则揭示了模型的决策机制。尽管取得了这些进展仍存在一些局限性尤其是在处理极其罕见的情绪如恐惧以及高度模糊的表情方面。未来研究将探索少样本学习技术以应对数据稀缺问题并采用对抗训练策略来提升跨模态一致性。此外我们致力于将 RMER -DT扩展应用于实时场景例如心理健康监测和情感化人机交互领域——这些场景对精准的情绪识别至关重要。同时DeepSeek等大规模生成模型的最新进展为改进模态重建提供了良好方向将此类模型整合到我们的框架中有望显著提升重构模态的多样性和上下文准确性这将成为我们未来的研究方向之一。总之 RMER -DT在多模态情绪识别领域迈出了重要一步为解决数据缺失和对话复杂性等挑战提供了系统化的解决方案其在实际应用场景中仍能保持高性能的特点使其成为推动情感计算研究与应用发展的有力工具。