特征挖掘与区域增强的弱监督时序动作定位.pdf

收稿日期：；修回日期：基金项目：国家自然科学基金资助项目（）作者简介：王静（），女，山东临沂人，硕士研究生，主要研究方向为弱监督时序动作检测；王传旭（），男（通信作者），山东济宁人，教授，硕导，博士，主要研究方向为目标检测与识别、目标跟踪、人体异常行为识别、群体交互关系建模与行为识别等（）特征挖掘与区域增强的弱监督时序动作定位王静，王传旭（青岛科技大学 信息科学技术学院，山东 青岛 ）摘要：弱监督时序动作定位旨在定位视频中行为实例的起止边界及识别相应的行为。现有方法尽管取得了很大进展，但依然存在动作定位不完整及短动作的漏检问题。为此，提出了特征挖掘与区域增强（）的定位方法。首先，通过基础分支计算视频片段之间的相似分数，并以此分数聚合上下文信息，得到更具有区别性的段分类分数，实现动作的完整定位；然后，添加增强分支，对基础分支定位中持续时间较短的动作提案沿时间维度进行动态上采样，进而采用多头自注意机制对动作提案间的时间结构显式建模，促进具有时间依赖关系的动作定位且防止短动作的漏检；最后，在两个分支之间构建伪标签互监督，逐步改进在训练过程中生成动作提案的质量。该算法在 和 数据集上分别取得了 和 的检测性能，证明了所提算法的有效性。关键词：时序动作定位；逆变换；动态采样；伪标签互监督；多头自注意中图分类号：文献标志码：文章编号：（）：，（，）：（），（），：；引言时序动作定位是视频理解中一项重要且具有挑战性的任务，其在视频监控、事件检测、交通监管等领域得到了广泛应用。然而，该工作大多数都是以完全监督的方式处理，注释大量的动作时间边界即耗时又费力。相反，弱监督学习可以大大简化数据收集和标记成本，得到了研究者的广泛关注。弱监督时序动作定位的经典方法是将此任务公式化为一个多实例学习（）问题，整个未剪辑视频被视为一个包含正、负实例的包，即动作实例和背景帧。随着时间的推移执行片段分类以生成类激活序列（），然后通过 聚合得到视频级预测，阈值化生成行为提议，如图 （）所示（其中：为分类监督；为类激活案例；箭头指示传播方向）。由于此框架只优化分类目标，所以本文认为将视频中片段作为独立实例的 方法，忽略了在特征建模及预测阶段对动作片段内和跨动作片段间潜在的时间结构进行建模，且分类器生成的 表示每个片段的特定类别动作概率，但它只覆盖对动作分类贡献最大且最具有辨别力的区域 ，导致从 中生成的动作提案和位置伪标签都是低质量的。其次是模型偏向于持续时间较长的动作片段，造成短动作的漏检及低质量预测，如图 （）所示。本文为了解决动作实例的漏检和完整性问题，提出了基于特征挖掘与区域增强的研究算法，称之为 。首先通过段内多头自我注意机制平滑的 方法生成动作提案，这些提案显示了未剪辑视频中的动作位置及持续时间的初步估计。进而采用逆变换理论对短动作提案进行动态上采样，然后通过自我注意显式建模提案间的交互关系，从而促进具有时间依赖关系的动作定位且防止短动作的误报和漏检。最后，为了优化定位目标，进一步构建了基础分支和增强分支之间的伪标签互监督。将每个分支的定位结果作为另一个分支的定位目标，交替冻结一个分支来训练另一个分支，从而促使模型定位更加完整和精确，如图 （）所示。本文主要贡献总结如下：第 卷第 期 年 月计 算 机 应 用 研 究 ）提出了段内、提案间的多头自我注意模块。即前者是计算视频片段与查询之间的相似度分数，进而利用这些分数聚合上下文信息，以此得到更具有区别性的段分类并抑制无关信息的干扰。后者则是显式建模动作提案之间的时间结构，促进动作定位且防止动作误报。）通过初定位的动作提案，采用逆变换原理，对一定长度的动作进行动态上采样，从而避免短动作的漏检和低质量预测。）在公开数据集 和 上进行了大量实验。结果表明，所提方法比目前最先进的方法具有更好的性能。图 中的算法比较 相关工作 弱监督时序动作定位弱监督时序动作定位（）仅使用视频级动作标签进行训练，有效地减轻了对昂贵动作边界注释的需求。受目标检测中类激活图的启发 ，早期方法通常是根据视频级的类别标签训练动作分类器，然后根据分类器的参数计算类激活序列，最后阈值化 得到动作提案。分类和定位在优化目标上存在根本性区别，即分类主要依赖于最具辨别力的动作片段，而定位需要挖掘完整的动作区域。通常是稀疏和不完整的，进而导致从 中生成的动作提案和位置伪标签都是低质量的。为了解决这些问题，则并行训练多个分类器，用于检测不同的动作区域。不同于此，通过条件变分自动编码器分离上下文和动作，进一步提出了行为提议评估器，以进行有效的边界调整。上述方法仅是通过分类监督进行定位。最近一些研究引入了基于自我训练的框架，即在当前步骤的 上设置阈值，并生成伪标签作为下一次训练的位置监督，逐步细化伪标签实现优质定位。具体地说，利用类特定的 和与类无关的注意力作为伪标签，将 任务视为期望最大化问题进行优化。分别基于 和 数据预测伪标签，然后对这两个伪标签进行后期融合以减少误报。受其思想的启发，本文 框架通过段内自我注意聚合上下文信息，以此提炼动作特征并抑制无关信息的干扰；提案间自我注意显式建模不同实例之间的结构关系来促进定位。其次，采用逆变换原理对时序短动作片段进行动态上采样，以此避免漏检和低置信度预测，最后通过伪标签互监督提高定位性能。伪标签指导交互训练在弱监督或有限监督的视觉任务中，使用伪标签来指导模型训练得到越来越多的关注。在弱监督的目标检测中，自我训练 ，是一个开创性的研究方向，它首先训练教师模型，然后选择每个未标记样本中的最大预测概率作为动作定位的伪标签来训练最终的检测器。同样，在半监督学习 和域自适应 算法中，预训练的网络以监督的方式在标记的源数据集上进行训练，然后用于未标记的目标数据集生成伪标签，进而指导训练过程。与上述工作相似，本文 就是利用伪段级标签（即动作提案）来指导在 任务中的训练过程。将每个分支的定位结果作为另一个分支的定位目标，交替冻结一个分支来训练另一个分支，多次迭代、进而实现动作的不漏检且准确识别与定位。注意力机制注意力机制可以理解为计算机视觉系统在模拟人类视觉系统，迅速高效地关注重点区域，并处理这些区域的特性。近年来，基于注意力的方法被广泛应用于动作定位的研究，等人 提出了具有混合注意力机制的 框架，包括时间软、半软和硬注意力。其时间软注意力模块由分类分数引导来模拟背景活动且找到动作的高辨别区域，半软和硬注意力模块对视频片段中动作的高辨别度区域进行擦除并计算两个注意力分数，进而挖掘动作辨别度低的帧，通过联合学习来捕获完整的动作实例。不同于此，等人 改进条件变分自动编码器（）注意力生成模型，加入动作前后帧信息以获取帧级注意力值，从而增强帧前后的关联性，避免帧信息丢失问题。自注意机制与其不同之处在于，它是输入序列内部元素之间或者输出序列内部元素之间发生的注意力机制。等人 使用自我注意来捕捉用户不同行为的影响，对用户行为进行建模，并将其应用于推荐任务。受其思想的启发，本文提出了段内、提案间的多头自我注意模块，即前者是建模查询片段的上下文信息来提炼片段特征，以此得到更具有区别性的段分类分数。后者则是通过模拟动作提案之间的关系，促进具有时间依赖关系的动作定位。总体框架如图 所示，其中：蓝色区域表示对未剪辑视频提取特征得到片段级特征表示；绿色区域指示基础分支，通过段内自我注意平滑 方法生成动作的初始定位。橙色区域则是增强分支，对基础分支中的短动作动态上采样，提案间自我注意建模时间结构来促进定位，避免短动作的漏检。图 总体框架 方法 问题表述假设给定 个未剪辑的视频 ，其对应的视频类别标签 ，其中 是一个 维的二进制向量（是动作类别的总数）。其中，如果第 个视频包含第 个动作类别，则 ，否则 。每个视频可能包含多个动作实例，本文的目标是根据四元组（，）来预测动作的时间位置，、分别代表动作提案的开始时间、结束时间、动作类别及定位分数。给定视频，首先对 个连续的片段进行采样并应用特征提取器 提取 和 特征。之后，和 特征沿通道维度连接起来形成片段级特征表示?，为特征维数。计 算 机 应 用 研 究 第 卷 基础分支每个行动提案上应用段内自我注意如图 所示。其中：?和分别表示元素级加法和乘法；和 为片段数和特征维度。图 在每个行动提案上应用段内自我注意 首先计算将查询特征?与键?之间的相似分数，然后利用这些分数聚合上下文信息来细化片段特征。由于未裁剪的视频通常由不相关的背景片段主导，这会给动作片段建模过程带来额外的噪声。为此本文添加多头段内自我注意力模块，将提取的片段级特征 作为输入，计算视频片段与查询之间的相似分数，如式（）所示，然后利用这些分数聚合上下文信息来提炼片段特征，以此得到更具有区别性的段分类分数。，（），（，槡）（，槡）（）（）（）其中：、以及?分别是用于生成查询、键、值和输出的线性投影矩阵；表示与查询相关的片段数量；是保存原始信息的单位矩阵；与 保持相同的维度。通过这种方式，获得了更具有区别性的片段特征且避免了无关信息的干扰。紧接着，将提炼后片段特征输入到主干网络 （）以预测类别概率和 。骨干网络由多层感知机实现，其可实现形式如下：，（，）（）其中：?表示 ，即每个视频片段属于所有类别的概率分布；?预测的视频类别概率；是骨干网的可训练参数。本文对 聚合、阈值化处理生成初始动作提案 （，）。、和 分别代表第 个行为提案的开始时间、结束时间以及预测的类别概率。同时对 在时间维度上的所有类别通道进行最大操作得到初始化采样权重序列?，即 值越高，表示在第 个片段存在动作的置信度越高。增强分支图 所示为动态上采样和动作间自我注意力。图（）为动态上采样是基于采样权重 的累积分布函数。轴上的绿点表示最后采样的时间步长。较短的动作具有较高的放大比。图（）为对视频中的所有提案应用段间自我注意。表示动作提案的总数。）动态采样。未修剪视频中的动作实例具有不同的持续时间，从几秒到超过 分钟不等。具体地说，短动作的时间尺度很小，它们的信息在整个特征建模阶段容易丢失或失真。而且实验中观察到模型确实偏向于持续时间较长的片段，并且在短动作上产生较低的置信度，从而导致漏检或较差的定位效果。为了避免这个问题，本文提出了一种新的动态采样策略，如图 （）所示，根据短动作提案的估计持续时间进行动态上采样。首先，计算并更新持续时间小于预定义阈值 的动作提案的采样权重：（）（）其中：、表示第 个动作提案的开始和结束时间。采样过程基于逆变换原理，形式上就是使用与采样权重 成比例的帧速率对片段进行上采样。首先计算采样权重的累积分布函数 （），然后从 （）中逆均匀采样 时间步长 （）。当需要上采样时，以线性插值方式根据每个提案的估计持续时间动态计算放大比。）提案间自我注意模块。未修剪视频中的动作实例之间通常涉及时间依赖性。例如，后边往往会跟着 ，而 通常会在视频中重复多次。因此，捕捉这些动作片段之间的相互作用及依赖关系可以提高识别和定位性能。如图 （）所示，与段内注意模块类似，首先通过时间维度上的平均池化来聚合每个动作提案中的片段级特征 （）。然后多头自注意应用于所有段级特征 ，以对不同行为提案之间的交互进行建模，并以残差方式将其添加到原始特征 上得到输出 。由（）计算其预测类别概率和 ，如下：，（，）（）其中：?表示 ，后聚合得到?，?表示预测的视频类别概率，是骨干网的可训练参数。图 动态上采样和动作间自我注意力 迭代训练的伪标签互监督）位置伪标签。由于 代表动作置信概率，所以，值越高就意味着存在的动作置信度越高。为了避免低质量标签并消除不确定性，本文通过超参数对 进行阈值化以生成二进制伪标签。如果真实类别片段的 值大于 ，则该片段被视为积极的动作样本；否则，它被认为是一个消极的动作样本。位置伪标签可以表述为珘 （）其中：代表第 个片段的第 个类别通道的 值；珘是对应的伪标签。）迭代优化。为了促进两个分支之间的相互增强，本文构建了伪标签互监督，即强制每个分支利用来自另一个分支的位置伪标签作为定位目标。具体来说，在初始阶段，仅使用视频级类别标签训练基础分支，以生成初始位置伪标签。在第一阶段，冻结基础分支，并通过动态采样为增强分支生成输入，然后利用来自基础分支的类别标签和位置伪标签优化增强分支，并根据增强分支的 更新伪标签。同理，在第二阶段，使用增强分支生成的伪标签优化基础分支。通过交替冻结一个分支并训练另一个分支，以推动两个分支 的一致性来获得更完整的位置监督，有助于在渐进式迭代中优化整个框架，以便可以探索更多时序较短的动作区域。对于定位，计算位置伪标签和输出 之间的加权交叉熵损失：（，珘）（，珘）（）其中：是动作类别的数量；，是第 个片段中第 个类别通道的输出 ；珘 ，则是来自另一个分支的位置伪标签；是交叉熵损失；和 表示正负样本集；和 第 期王静，等：特征挖掘与区域增强的弱监督时序动作定位表示正负样本的个数。对于分类，通过计算动作类别标签 ，和预测类别概率?之间的交叉熵损失：（，）（）其中：是第 个视频通过 时间平均聚合 计算出来的。为了更好地分类，将分类损失 与 中的协同活动相似损失相结合，作为每个分支的基本损失 ，最后在整个框架训练过程中，结合基本损失和定位损失来优化基础分支和增强分支：（）实验 数据集和评价指标）数据集。在 和 两个公共数据集上对提出的 框架进行评估。中视频长度从几秒到几分钟不等，单个视频中可能存在多个动作实例。其中视频包含属于 个类别的 个验证视频和 个测试视频。是一个涵盖 个复杂日常活动的大规模数据集，包括 个训练视频和 个验证视频。）评价指标。本文遵循标准的评估协议，通过报告不同交并比（）阈值下的平均精度（）值来评估 任务的性能，即 。具体来说，的 阈值设置为 ：，而 的 阈值为 ：。实现细节）特征提取。为了避免内存限制，首先将输入视频分割成不重叠的 帧片段，然后从每个视频中随机采样 个连续的片段。由于视频的长度变化很大，对 的采样片段数 为 ，而 的样本数 为 。应用 算法从 帧中提取光流，然后使用在 上预训练的 网络提取 和 特征。）主干网络。在基础分支或增强分支中，主干网络将视频特征映射到 和类别概率。在结构上，它级联了一个特征转换模块和一个映射模块。前者由一个完全连接层组成，然后是 激活和 。后者包含两个平行的全连接层，后面分别跟随 函数，以预测视频类别概率和 。）训练设置。所提模型是基于 深度学习的网络框架，整个实验在单个 上实现。使用学习率为 的 优化器分别在 和 上进行优化，且 分别为 和 。对于多步骤提案细化，在初始阶段训练 个 ，然后以 个 对两个分支进行交替训练，平衡超参数 ，分类阈值 ，由 （）自适应计算伪标记阈值 及定位阈值 ，将动态采样参数 分为五个持续时间组（秒）进行采样，即 （，（，（，（，（，）。与最先进的方法进行比较在多个 阈值下，将 方法与当前较先进的弱监督时序动作定位方法进行比较，在 和 上的定位性能如表 和 所示。由此可以看到 在 （：）和（：）上构建了较先进的性能。与 相比，的 提高了 。至于 ，在指标 下，从原始性能 提升到 。特别地，本文方法优于 ，它也使用伪标签来指导模型训练，但没有显式的片段建模。不同于此，引入片段对比学习来定位动作，其检测性能仍然不高。而本文性能提升得益于三个方面。其一是提出段内、提案间的多头自我注意对其时间结构进行显式建模，得到了更易于区分的背景和动作特征，并进一步促进了具有时间依赖关系的动作定位。其次是对短动作提案进行片段上采样，避免了时序短动作的漏检和低质量预测。最后是伪标签互监督，通过提供更细粒度的监督使得两分支相互增强，实现更完整、更精准的定位。表 在 验证集上的测试性能 （）（）（）（）（）（）（）（）（）（）（）（）本文方法（）表 在 测试集上的测试性能 （）（）（）（）（）（）（）（）本文方法（）还在更高的 阈值下的 数据集上进行比较，相比于 算法性能实现了 的绝对增益，将 提升到了一个新的水平。这些数据表明了该算法的有效性和先进性。消融实验）每个组件的贡献。在 上进行消融研究，如表 所示，以评估每个组件对 的贡献。具体地说，本文尝试了以下八种设置。基线设置为基于普通分类方法 ，仅使用基本损失 进行训练，然后对定位结果设置 阈值。（）：只有一个基础分支；（）：具有两个相同分支；（）：在计 算 机 应 用 研 究 第 卷（）上添加段内、提案间自注意模块；（）：在（）上添加动态采样策略；（）：在（）上添加伪标签互监督；（）：在（）的基础上添加动态采样策略；（）：在（）的基础上添加伪标签互监督；（）：在（）的基础上添加段内、提案间自注意模块。由于两个分支可以生成完全不同的 ，将双分支的 均值作为最终的结果。在上述八个基线中，由仅靠分类监督的（）和（）可以看出，单、双分支模型的定位性能没有明显差异，且由于数据的复杂导致模型仅专注于最具有辨别力的区域，造成动作定位的稀疏及不完整。为此，设计了（），通过显式建模时间结构，聚合上下文信息，以此得到更易于区分动作和背景的片段特征，使得检测 提高到了 。紧接着，为避免较短动作的丢失问题，在（）的基础上添加了动态采样策略，对较短动作进行上采样。通过（）与（）的比较，动态采样进一步提高了时间建模对模型的有效性，带来了 的平均 增益。最后添加伪标签互监督，使得双分支相互增强。将所有模块集成于（）形成本文 框架，实现了最佳性能，表明了不同组件都发挥着重要作用，共同为更完整的动作定位结果作出了贡献。表 在 上验证不同组件对模型的贡献 （）（）（）（）（）（）（）（）（）迭代优化的影响。图 为随迭代数量增加对模型的影响曲线，这表明通过迭代细化提案可以获得更好的定位结果。图 迭代细化过程 定性的可视化分析为了定性地展示所提框架的优越性，在图 可视化了两个示例。图中：在每个例子中有九个图。前三个图分别是输入视频、和基础分支的定位结果。中间三个图显示了输入视频、和增强分支的定位结果。最后三个图分别是最终 、整个框架的最终定位结果和真实动作间隔。基础分支以均匀时间分布的视频作为源，只能检测出长动作。通过动态计算放大比在增强分支进行短动作的上采样，从而防止短动作的漏检和低质量预测。伪标签互监督使最终的定位结果更加完整和精确。图 （）描绘了一个具有背景挑战的案例掷铁饼，它看起来与前景非常相似，即便如此，本文通过自注意力机制建模上下文信息，以此得到更具有区别性的段分数，进而抑制背景信息的干扰，实现精准定位。图 （）展示了包含长短不同的打篮球动作的视频，通过本文的增强分支对其短的动作实例进行上采样，以此避免了低质量预测，进而伪标签互监督促使两个分支之间的相互增强，从而获得更完整、更精确的预测结果。图 的定性结果（彩色显示最佳）（）结束语专注于弱监督时序动作定位任务研究，例如时序较短行为的漏检，以及一些候选剪辑被随意忽略导致定位不完整或者过度完整。本文提出了基于特征挖掘与区域增强的新算法，通过段内自我注意提炼特征以获得更易于区分动作和背景的片段，进而得到更具有区别性的段分类分数，实现动作的初始定位。为避免基础分支对短动作的漏检，添加增强分支对较短动作进行动态上采样，进而捕获不同动作提案之间的关系来促进动作定位并避免低质量预测。最后构建伪标签互监督，通过提供更细粒度的监督，促使两分支相互增强，在多次迭代中逐步定位更完整、更精确的动作区域。在 和 上的实验证明了所提 框架的有效性和先进性。行为定位和识别任务的最新进展表明，建模上下文可以为动作识别提供更丰富的线索。受此启发，下一步工作将引入显式的背景建模来增强本文框架的判别能力，从而抑制背景噪声的干扰，从而获得准确的动作提案。参考文献：，：，：，：，：，：，：，：，：，：，：，：，：，：，：，第 期王静，等：特征挖掘与区域增强的弱监督时序动作定位 ，：，：，：，：，：，：，：，：，“”，：，：，：，：，：，：，：，：，：，：，（）：，：，：，：，：，（）：，？，：，：，：（）：，：，：，：，：，：，：，：，：，：，：，：，：，：，：（）：，：，：（上接第 页），：，：，：，：，（）：，：，：，：，：（）：，：，：，：（）：（）：，：，：，（）：，：，：，：，：，（）：，：，（）：，：，：，：计 算 机 应 用 研 究 第 卷