深度神经网络生成内容的隐形、稳健保护方法 学术背景 近年来，随着深度学习模型在工程应用中的革命性发展和广泛应用，涌现出诸如ChatGPT和DALL⋅E 2等现象级应用，这些应用对人们的日常生活产生了深远的影响。同时，人们可以利用开源的深度学习技术创建各种内容，例如图像风格迁移和图像卡通化，这些技术被称为AI生成内容（AIGC）。在这样的背景下，基于AIGC的商业应用，如美图、Prisma和Adobe Lightroom等，其版权保护变得急迫且不可避免。然而，由于许多AIGC相关技术是开源的，使得技术娴熟的个人也能够创建类似的应用。因此，当版权纠纷出现时，对于商业公司及其产品来说，是一个巨大的挑战。 当前，一些常见的版权保护方法包括但不限于注册版权、声明版权、加密版权保护等。这些方法对于实体产...
学术报告 背景介绍 知识图谱(knowledge graph，KG)是记录实体和关系信息的结构化数据，广泛应用于问答系统、信息检索、机器阅读等领域。知识图谱嵌入(Knowledge Graph Embedding, KGE)技术通过将图谱中的实体和关系映射到低维稠密向量空间，大大提升了相关应用的性能。然而，在KGE模型的训练过程中，如何生成高质量的负样本(negative samples)至关重要。 目前主流的KGE模型在生成负样本时面临诸多挑战。一些模型使用简单的静态分布，如均匀分布或伯努利分布(Sampling from Uniform or Bernoulli distribution)，这些方法生成的负样本通常缺乏区分度。而且，现有方法在生成负样本时，通常只是从知识图谱中已经存在的实...
近年来，隐私保护和大规模数据传输等应用场景对数据的不可访问性提出了严峻挑战，因此，研究人员通过提出数据无关知识蒸馏（Data-Free Knowledge Distillation，简称DFKD）方法，来解决这些问题。知识蒸馏（Knowledge Distillation，简称KD）是一种训练轻量级模型（学生模型）使其从深度预训练模型（教师模型）中学习知识的方法。然而，传统的知识蒸馏方法要求具有可用的训练数据，这在隐私保护和大规模数据传输场景下是不现实的。本文提出了一种新的DFKD方法——Adaptive Data-Free Knowledge Distillation（简称AdaDFKD），旨在解决现有DFKD方法中目标分布静态和实例级分布学习的局限性，通过建立和利用伪样本间的关系，实现对...
论文背景与研究目的 强化学习（Reinforcement Learning，RL）近年来已成为人工智能领域中一个充满活力且具有变革性的领域，其目标是通过智能体与环境的交互，实现最大化累积奖励的能力。然而，RL的应用在实际中面临着优化贝尔曼误差（Bellman Error）的挑战。这种误差在深度Q学习及相关算法中尤为关键，传统方法主要使用均方贝尔曼误差（Mean-Squared Bellman Error, MSELoss）作为标配损失函数。然而，认为贝尔曼误差服从正态分布的假设可能过于简化了RL应用中的复杂特性。正因为此，本文重新审视了RL训练中贝尔曼误差的分布，发现其更倾向于服从逻辑分布（Logistic Distribution）。 论文来源与作者介绍 本篇论文题目为”Modeling ...
结构增强的原型对齐用于无监督跨域节点分类 引言 随着现代信息技术的发展，图神经网络（Graph Neural Networks，GNNs）在处理复杂网络节点分类任务中展示了显著的成功。然而，其中一个关键问题是需要大量高质量标注数据，这对于图结构数据而言获取成本高昂且耗时。因此，如何将知识从一个标注丰富的图（源域）迁移到一个完全无标注的图（目标域）成为了亟待解决的重要问题。 研究背景及目的 作者所在团队来自浙江大学计算机科学学院、浙江省服务机器人重点实验室、以及新加坡国立大学计算学院。他们提出了一种名为结构增强的原型对齐（SEPA）的新型无监督图域适应框架，旨在通过构建基于原型的图和引入显式域差异度量来实现源域和目标域的对齐。该论文发表在《Neural Networks》期刊，并通过一系列实验...
语义分割旨在为图像中的每个像素预测类别标签（Liu et al., 2021; Wang et al., 2021），广泛应用于场景理解、医学图像分析、自动驾驶、地理信息系统和增强现实（Strudel et al., 2021; Sun et al., 2023）。虽然深度神经网络的发展显著提升了分割任务的表现（Chen et al., 2014; Guan et al., 2021; Zhao et al., 2017），但这些进展要求大量像素级标注数据进行模型训练，获取这些数据在现实场景中代价高昂（Jiang et al., 2022; Liang et al., 2023）。与此同时，当测试数据与训练数据存在分布差异时，多数分割方法的性能通常会下降（Huang et al., 2022...
以原型为基础的样本加权蒸馏统一框架应用于缺失模态情感分析 研究背景 情感分析是自然语言处理(NLP)中的一个重要领域，随着社交媒体平台的发展，人们越来越倾向于通过简短的视频片段来表达他们的情感。这导致多模态数据的快速增长。然而，现实生活中经常会遇到模态缺失的情况，例如由于音频丢失、摄像头遮挡或语音转录错误等问题。在这种情况下，对缺失模态的情感分析成为一个具有挑战性的重要议题。多模态的异质性在尝试对所有模态在多模态网络上优化相同目标时，往往导致优化的不平衡问题，尤其是在模态缺失的情况下。现有的研究在处理模态缺失时，常常忽略了网络优化的不平衡问题。 研究来源 这篇论文由山东师范大学信息科学与工程学院的张玉娟、刘芳娥、庄旭强、侯英和张玉灵共同撰写，论文发表于2024年5月20日的《Neural N...
背景介绍 网络剪枝（Network Pruning）是设计高效卷积神经网络（CNNs）模型的重要技术。其通过减少内存占用和计算要求，同时保持或提高总体性能，使得在资源受限设备（如手机或嵌入式系统）上部署CNNs变得可行。当前的假设是许多模型参数过多，即包含大量不必要或冗余的参数，剪枝这些冗余参数可以生成更小且更高效的模型，这不仅适用于资源受限设备，还可以在某些情况下提高模型的泛化能力。 现有的剪枝方法中，滤波器剪枝（Filter Pruning）和权重剪枝（Weight Pruning）都是流行的技术。权重剪枝是一种非结构化剪枝，指根据个别权重的重要性对其进行剪枝而不考虑任何特定的结构或模式。而滤波器剪枝则是结构化剪枝方法的一种，它依据某些标准对整个滤波器进行剪枝，同时保持网络的整体结构。 ...
随着深度学习技术的快速发展，数据挖掘和人工智能训练技术在实际应用中的重要性日益显现。尤其在多变量时间序列异常检测领域，现有方法尽管表现出色，但在面对含有噪声或污染的数据时，依旧存在显著的问题。基于此，本文提出了一种具有双内存模块的多尺度特征提取框架，用以解决上述挑战性问题。 研究背景 多变量时间序列（Multivariate Time Series, MTS）数据通常涉及多个传感器在物联网（IoT）应用中的实时运行状态。有效分析这些数据能够揭示隐藏的信息，对异常情况进行预警，以确保系统的安全运行。然而传统的异常检测方法，如局部异常因子（Local Outlier Factor, LOF）、单一分类支持向量机（One-Class Support Vector Machine, OCSVM）和孤...
背景介绍 多源无监督域适应（Multi-source Unsupervised Domain Adaptation, MUDA）旨在从多个已标记的源域向无标记的目标域转移知识。但是，现有的方法在处理源域和目标域的分布差异时，往往只是简单地寻求不同领域之间分布的混合或在决策过程中结合多个单源模型进行加权融合，未深入考察不同源域和目标域之间的全局和局部特征分布的差异。因此，为解决这一问题，该研究提出了一种全新的多源域适应的主动动态加权（Active Dynamic Weighting, ADW）方法。 论文来源 本文的研究工作由西安理工大学的刘龙、周博、赵志鹏和刘泽宁组成的团队完成，于2024年5月20日正式在线发表在《Neural Networks》杂志上，文章编号为177（2024）1063...