PrivCore:用于高效私有推理的乘法-激活协同优化

深度神经网络中的高效隐私推理:PrivCore框架的突破性研究 背景介绍 随着深度学习技术的快速发展,深度神经网络(Deep Neural Networks, DNNs)在图像识别、自然语言处理、医疗诊断等领域的应用日益广泛。然而,随着数据隐私和模型保护的需求日益增长,如何在保护用户隐私的同时进行高效的模型推理成为了一个重要的研究课题。传统的隐私保护推理方法,如基于安全多方计算(Secure Multi-Party Computation, MPC)的隐私推理(Private Inference, PI),虽然在隐私保护方面表现优异,但其计算和通信开销巨大,难以在实际应用中广泛推广。 近年来,研究人员尝试通过优化网络架构来减少隐私推理中的计算和通信开销。然而,现有研究大多集中在减少非线性操作...

ECDformer:高效且可解释的电子圆二色光谱预测的解耦峰值属性学习

高效且可解释的电子圆二色光谱预测:Decoupled Peak Property Learning 学术背景 电子圆二色光谱(Electronic Circular Dichroism, ECD)是研究分子手性的关键工具,特别是在不对称有机合成和药物工业中,用于区分手性分子的绝对构型。然而,现有的ECD光谱预测方法存在两个主要问题:数据稀缺性和可解释性不足,导致预测结果的可信度较低。当前的ECD光谱预测依赖于耗时的量子化学计算,包括分子结构提取、构象搜索、结构优化、时间相关密度泛函理论(TD-DFT)计算和玻尔兹曼加权等步骤。这不仅需要实验化学家具备深厚的专业知识,还耗费大量的计算资源和时间。因此,如何加速ECD光谱的理论计算并提高其预测的准确性和可解释性,成为了一个亟待解决的问题。 论文来...

深度神经网络解决多体薛定谔方程中自旋对称性解的问题

深度学习框架用于多体薛定谔方程的自旋对称解研究:一种新方法的开创性成果 量子物理和量子化学领域中,多体电子体系的描述一直是一个重要但极具挑战性的课题。准确表征电子-电子强关联尤其对催化、光化学和超导性等领域具有深远意义。然而,传统的方法,如广泛使用的Kohn–Sham密度泛函理论(KS-DFT),在多参考体系中对静态关联的描述仍存在不足。这一不足导致了所谓的“对称性困境”(symmetry dilemma),即自旋对称破缺的解尽管是不物理的状态,却能获得较低的能量结果。此外,虽然波函数方法在捕获静态关联方面表现出色,但其计算复杂度较高,需要专家选择合适的活性空间,对普通应用存在显著障碍。因此,找到一种高效且准确的方法来解决多体薛定谔方程,同时保持正确的自旋对称性,这是科学家们长期以来期待解决...

知识概率化在集合蒸馏中的应用:提升目标检测器的准确性和不确定性量化

知识概率化在集成蒸馏中的应用研究 学术背景:研究的意义与问题的提出 近年来,深度神经网络(Deep Neural Networks, DNN)因其卓越的预测能力,在自动驾驶、医疗诊断、气候预测等安全关键领域得到了广泛应用。然而,这些领域对模型的需求不止于高预测精度,更要求模型能够提供可靠的不确定性量化(Uncertainty Quantification)。尤其是在诸如自动驾驶车辆面对雪天等复杂环境时,模型的过高自信可能导致不安全的决策;因此,增强不确定性量化已成为深度学习应用的重要课题之一。 深度集成学习(Deep Ensemble)因其在提升预测精度和不确定性量化能力方面的显著效果,成为近年来的重要研究方向。然而,集成模型由于需要大规模的计算与存储资源,在实际应用中,尤其是资源有限的环境...

使用原子力显微镜和深度神经网络确定RNA构象结构

学术背景 RNA(核糖核酸)是生命体中至关重要的分子,参与了基因表达、调控和催化等多种生物过程。尽管人类基因组的大部分被转录为RNA,但RNA分子的结构研究仍然面临巨大挑战。RNA分子通常具有高度的构象异质性和灵活性,这是其功能的前提,但也限制了传统结构解析方法(如核磁共振(NMR)、X射线晶体学和冷冻电镜(cryo-EM))的应用。特别是对于大分子RNA,由于其构象多样性和缺乏大规模RNA结构数据库,现有的蛋白质结构预测方法(如AlphaFold)无法直接应用于RNA。因此,如何准确解析大分子RNA的三维结构,尤其是其构象异质性,成为RNA结构生物学中的一个重要难题。 论文来源 这篇论文由Maximilia F. S. Degenhardt、Hermann F. Degenhardt、Yu...

预测错误处理和信息预期的锐化在面孔感知中的作用

预测错误处理和信息预期的锐化在面孔感知中的作用

科学报告 背景介绍 感知和神经处理感官信息极大程度上受先验期望的影响。感知不仅仅是被动的接收,而是通过将现有的感官信息与基于过去经验和当前情境获得的先验信息结合而成的一种主动推理过程。这种信息的结合方式可以通过不同的机制表现出来:一种是专注于异常输入,即预测误差信号处理(Prediction Error,简称PE);另一种是通过对预期信息的增强实现的锐化表示。本文研究了这两种机制在面孔感知中的表现。 研究来源 本研究由德国汉堡大学医疗中心(University Medical Center Hamburg-Eppendorf)系统神经科学系的Annika Garlichs和Helen Blank进行,论文发表于2024年4月的《Nature Communications》期刊。 研究流程及方...

一种用于DNN生成内容的隐形且鲁棒的保护方法

深度神经网络生成内容的隐形、稳健保护方法 学术背景 近年来,随着深度学习模型在工程应用中的革命性发展和广泛应用,涌现出诸如ChatGPT和DALL⋅E 2等现象级应用,这些应用对人们的日常生活产生了深远的影响。同时,人们可以利用开源的深度学习技术创建各种内容,例如图像风格迁移和图像卡通化,这些技术被称为AI生成内容(AIGC)。在这样的背景下,基于AIGC的商业应用,如美图、Prisma和Adobe Lightroom等,其版权保护变得急迫且不可避免。然而,由于许多AIGC相关技术是开源的,使得技术娴熟的个人也能够创建类似的应用。因此,当版权纠纷出现时,对于商业公司及其产品来说,是一个巨大的挑战。 当前,一些常见的版权保护方法包括但不限于注册版权、声明版权、加密版权保护等。这些方法对于实体产...

使用深度神经网络揭示人类感知和记忆中视觉与语义信息

利用深度神经网络区分人类感知和记忆中的视觉和语义信息 引言 在认知科学领域,一直存在关于人类如何在感知和记忆过程中进行人物和物体识别的研究兴趣。识别人和物的成功依赖于将感知系统生成的表征与存储在记忆中的表征进行匹配。然而,这些心理表征并非外部世界的精确副本,而是大脑的重构。了解这种重构的内容和过程是一项长期存在的挑战。这篇论文尝试通过利用深度神经网络(DNN)来揭示人类在熟悉的面孔和物体进行感知和记忆时的心理表征的内容。 论文来源 这篇论文由 Adva Shoham、西丹·丹尼尔·格罗斯巴德、Or Patashnik、Daniel Cohen-Or 和 Galit Yovel 撰写,作者全部来自Tel Aviv University。论文于2024年2月8日在线发表于《Nature Huma...