基于概率记忆自编码网络的监控视频异常行为检测
基于概率记忆自编码网络的监控视频异常行为检测研究
学术背景
在智能监控系统中，异常行为检测是一项至关重要的功能，广泛应用于反恐、社会稳定维护和公共安全保障等领域。然而，异常行为检测面临着一个核心挑战：正常行为数据和异常行为数据之间的极端不平衡。正常行为数据通常大量且易于获取，而异常行为数据则稀少且难以预测。这种不平衡使得传统的监督学习方法难以有效训练模型。因此，研究如何利用大量正常行为数据来建模正常行为分布，并以此为基础检测异常行为，成为了一个重要的研究方向。
近年来，基于深度学习的方法在异常行为检测中取得了显著进展。特别是，基于视频帧重建和未来帧预测的方法被认为在性能上优于传统的重建方法。然而，现有的方法在处理复杂场景和多模态正常行为时仍存在局限性。为了解决这些问题，本研究提出了一种基于概率记忆自编码网络（Probabilistic Memory Auto-Encoding Network, PMAE）的半监督异常行为检测算法。
论文来源
本论文由武汉大学电子信息学院的Jinsheng Xiao、Jingyi Wu、Shurui Wang、Qiuze Yu，湖北工业大学电气与电子工程学院的Honggang Xie，以及加州大学圣巴巴拉分校计算机科学系的Yuan-Fang Wang共同撰写。论文发表于2025年的《Neural Networks》期刊，题为《Probabilistic Memory Auto-Encoding Network for Abnormal Behavior Detection in Surveillance Video》。
研究流程
1. 研究设计
本研究的目标是通过学习正常行为的分布，检测偏离该分布的数据，从而实现异常行为的检测。为此，研究团队设计了一个基于自编码网络（Auto-Encoding Network）的框架，并结合了概率模型和记忆模块来辅助建模正常行为模式。
2. 自编码网络
自编码网络作为主干网络，用于从视频帧中提取时空特征。为了避免未来信息泄漏，研究团队采用了因果三维卷积（Causal 3D Convolution）和时间维度共享的全连接层。自编码网络由编码器、解码器和帧预测器三部分组成。编码器将输入的视频帧组映射为隐藏向量，解码器将隐藏向量重建为多维时空特征图，帧预测器则将这些特征图转换为最终的预测帧。
3. 概率模型
为了拟合输入数据的分布，研究团队设计了一个自回归条件概率估计模型（Autoregressive Conditional Probability Estimation Model）。该模型通过自回归过程递归计算输出数据的潜在概率分布，从而使得网络在面对正常行为数据时能够收敛到低熵状态。具体来说，模型使用有序堆叠的全连接层来估计每个隐藏向量元素的条件概率密度，避免了手动排序的不确定性。
4. 记忆模块
记忆模块用于存储历史数据中的正常行为特征，并通过注意力机制将记忆向量与当前输入数据融合。记忆模块的读取操作类似于注意力机制，通过计算查询向量与记忆向量之间的余弦相似度，生成融合权重，从而形成新的查询向量。记忆模块的更新操作则通过加权平均的方式，将当前输入信息注入到记忆向量中，从而实现记忆向量的持续更新。
5. 目标函数与异常评分
研究团队从重构误差、概率熵和记忆特征三个方面定义了目标函数和异常评分。重构误差通过均方误差（MSE）衡量预测帧与真实帧之间的差异；概率熵通过交叉熵损失衡量隐藏向量的概率分布；记忆特征则通过特征紧密度损失和特征分离损失来减少类内差异并增加类间差异。最终，异常评分通过加权平均的方式综合了各个模块的贡献。
主要结果
1. 实验配置
研究团队在UCSD Ped2和ShanghaiTech两个公开数据集上进行了性能测试。UCSD Ped2数据集包含16个训练视频和12个测试视频，分辨率为240×360；ShanghaiTech数据集包含437个校园监控视频，分辨率为856×480。实验使用Python 3.6和PyTorch 1.1.0框架进行，训练和测试在NVIDIA Tesla V100 GPU环境下完成。
2. 消融实验
为了探索各个模块的作用，研究团队在UCSD Ped2数据集上进行了消融实验。实验结果表明，跳过连接（Skip-Layer Connection）能够显著提高网络的重建能力；概率模型在视频帧组长度较短时效果更好，而记忆模块在视频帧组长度较长时表现更佳。整体来看，各个模块的加入对网络性能的提升具有积极作用。
3. 与经典算法的对比
研究团队将PMAE算法与多种经典算法进行了横向对比。在UCSD Ped2数据集上，PMAE算法达到了0.958的AUC值，在ShanghaiTech数据集上达到了0.729的AUC值，表现优于大多数对比算法。此外，PMAE算法的推理速度达到了96.3 FPS，能够满足实时监控的需求。
结论与意义
本研究提出了一种基于概率记忆自编码网络的半监督异常行为检测算法，通过学习正常行为的分布，检测偏离该分布的数据，从而实现异常行为的检测。研究结果表明，该算法在多个公开数据集上表现优异，具有较高的检测精度和实时性。此外，算法的设计充分考虑了正常行为的多模态特征，能够有效避免异常帧的重建，从而提高检测率。
研究亮点
- 概率记忆自编码网络：通过结合概率模型和记忆模块，有效解决了正常行为数据与异常行为数据不平衡的问题。
- 自回归条件概率估计模型：通过自回归过程拟合输入数据的分布，使得网络能够收敛到低熵状态，增强了对正常行为的建模能力。
- 记忆模块：存储了多种正常行为模式，实现了多模态正常行为数据的共存，避免了异常帧的重建。
- 实时性：算法推理速度达到96.3 FPS，能够满足实时监控的需求。
其他有价值的信息
研究团队还通过可视化实验展示了算法在实际监控视频中的表现。实验结果表明，PMAE算法能够有效识别异常行为，并在多个场景中表现出色。此外，研究团队通过t-SNE方法可视化了各个模块的特征分布，进一步验证了算法的有效性。
本研究为解决监控视频中的异常行为检测问题提供了一种有效的方法，具有重要的科学价值和应用前景。