深度学习模型揭示语义饱和的机制

深度学习模型揭示语义饱和的机制

深度学习模型揭示语义饱和机制 语义饱和(semantic satiation),即一个词或短语在被重复很多次后失去意义这一现象,是一种众所周知的心理学现象。然而,导致这一机制的微观神经计算原理仍然未知。本文使用连续耦合神经网络(continuous coupled neural network, CCNN)建立深度学习模型,研究语义饱和的机制,并用神经元成分精确描述这一过程。研究结果表明,从介观角度来看,语义饱和可能是一个自下而上的过程,与现有的宏观心理学研究认为语义饱和是一个自上而下的过程不同,本文的模拟采用与经典心理学实验类似的实验范式,观察到相似的结果。语义目标的饱和类似于本文网络模型用于物体识别的学习过程,依赖于对象的连续学习和切换,神经耦合的增强或削弱影响饱和。综上,神经和网络机制...

先进最优跟踪结合神经网络评价技术用于非对称约束零和博弈

学术报告:先进最优跟踪结合神经网络评价技术用于非对称约束零和博弈 背景与研究问题 在现代控制领域,博弈论是研究智能决策者之间竞争与合作的数学模型,其中涉及至少两个玩家的互动决策问题。近年来,微分博弈在控制领域引起了越来越多的关注。当我们面对复杂受扰动系统的最优控制问题时,通常将其视为零和博弈(Zero-Sum Game, ZSG)。如果某系统的控制问题涉及多种控制策略且无扰动时,则被称为非零和博弈(Non-ZSG)。然而,由于真实系统中常存在各种扰动,因此进一步考虑ZSG问题以减轻扰动对系统性能的影响非常重要。 尤其在连续时间(Continuous-Time, CT)非线性系统中,传统动态规划方法尽管非常有价值,但在解决非线性最优控制问题时,常因为维数灾难(Curse of Dimensio...

滑模控制在不确定分数阶反应扩散忆阻神经网络中的应用

滑模控制在不确定分数阶反应扩散忆阻神经网络中的应用 近年来,随着神经网络在各种领域的广泛应用,对其控制和稳定性研究也越来越受到关注。分数阶(fractional-order, FO)忆阻神经网络(memristor neural networks, MNNs)由于其能够模拟生物神经突触的特点,在信息处理和学习等方面展示了独特的优势。然而,MNNs 在应用中面临诸多挑战,如系统的不确定性、信号传输的时滞以及复杂的时空演化特性,这些因素可能导致网络的不稳定和性能下降。因此,研究一种强鲁棒性的控制方法来解决这些问题具有重要的理论和实际意义。 在背景介绍部分,需要首先介绍忆阻器(memristor)的基本概念及其在神经网络中的应用。忆阻器作为电感、电容、以及电阻之外的第四类电子元件,由Chua于19...

一种用于流体模拟的基于注意力机制的双流水线网络

背景与研究动因 在物理学中,了解流体运动对于理解我们的环境以及我们如何与其进行交互至关重要。然而,传统的流体模拟方法由于其高计算需求,在实际应用中存在局限性。近年来,物理学驱动的神经网络被认为是一种有前途的数据驱动方法来理解复杂的自然现象。本文的作者受到平滑粒子流体动力学(SPH)方法的启发,提出了一种基于注意力机制的双管道网络架构——DualFluidNet,用于解决流体模拟中的全局控制和物理定律约束之间平衡的问题。 论文信息来源 本文由来自西安交通大学软件工程学院的Yu Chen、Shuai Zheng、Menglong Jin、Yan Chang和Nianyi Wang撰写,发表在2024年《Neural Networks》期刊上。该论文提出并探讨了一种创新的3D流体模拟方法。 研究方...

适应性识别和优化不良区域以实现准确的立体匹配

适应性识别和优化不良区域以实现准确的立体匹配

适应性识别和优化不良区域以实现准确的立体匹配 研究背景和动机 随着计算机视觉技术的快速发展,立体匹配技术因其高准确性、成本效益及非侵入性,在机器人、航天、自动驾驶和工业制造等诸多领域中发挥了至关重要的作用。然而,立体匹配在处理遮挡区域、模糊区域时,像素对之间的一致性约束变得不可靠,导致隐藏对应关系探索的困难。因此,尽管在卷积神经网络(CNN)和基于变换器(Transformer)的研究进展迅速,多数方法在处理不良区域时仍存在性能瓶颈。为了应对这一挑战,研究团队引入了一种误差区域特征优化机制以提供上下文特征,从而改进不良区域的立体匹配效果。 研究来源和简介 本文题为”Adaptively Identify and Refine Ill-Posed Regions for Accurate St...

多模态MRI揭示维持人类意识清醒状态的脑干连接

多模态MRI揭示维持人类意识清醒状态的脑干连接

脑科学的重大突破:多模态MRI揭示维持人类意识清醒的脑干连接 背景介绍 意识包含觉醒(wakefulness)和意识(awareness)两个基本组成部分。尽管过去两十年科学家们已经取得了在大脑皮层网络方面的显著进展,进一步理解了意识中觉醒的神经解剖基础,但对于人类觉醒的皮层下网络(subcortical networks)的理解依然非常有限。这一认识领域的缺失部分原因在于传统神经影像技术的空间分辨率不足,无法区分脑干内的个别觉醒核(arousal nuclei),也难以描绘脑干与间脑、基底前脑及大脑皮层之间复杂的轴突连接轨迹。 研究来源 该研究由Brian L. Edlow等人撰写,作者隶属于麻省总医院(Massachusetts General Hospital)和哈佛医学院(Harva...

建模分析经济决策领域中依靠机器学习建立理论所使用数据集的偏倚

背景介绍 长期以来,规范性(nomative)和描述性(descriptive)模型一直在试图解释和预测人类在面对商品或赌博等风险选择时的决策行为。最近的一项研究通过训练神经网络(Neural Networks, NNs)在一个新的大规模在线数据集choices13k上,发现了一种更准确的人类决策模型。本研究系统地分析了不同模型和数据集之间的关系,并发现了数据集偏差(dataset bias)的证据。研究表明,数据集choices13k中对随机赌博选择的偏好趋向于平衡,可能反映了增加的决策噪声。通过将结构化的决策噪声添加到使用实验室研究数据训练的神经网络中,我们构建了一个贝叶斯生成模型,并发现该模型表现优于其他除choices13k之外的所有模型。 研究来源 此项研究发表于《Nature H...

使用病历预测现象广泛的疾病发生并支持对新兴健康威胁的快速响应

使用病历预测现象广泛的疾病发生并支持对新兴健康威胁的快速响应 研究背景和动机 新冠疫情暴露了全球系统性、数据驱动指导缺乏的问题,这对识别高风险人群以及应对疫情准备造成了严重影响。个体未来疾病风险评估对于指导预防干预、早期疾病检测和治疗启动至关重要。然而,对于常见疾病,只有一小部分有定制的风险评分,医疗提供者和个人对于大多数相关疾病缺乏指导。即便在有既定风险评分的情况下,对于使用哪种评分和相关的生理或实验室测量也缺乏共识,导致常规医疗实践高度碎片化。特别是在新冠疫情初期,由于缺乏可用数据,无法识别脆弱人群的风险评分不可用。 同时,大多数医学决策,包括诊断、治疗和预防疾病,都是基于个人的医学史。随着数字化的普及,这些信息已经被医疗提供者、保险公司和政府以电子健康记录的形式收集,但由于人类处理和理...

Dimond: 通过深度学习优化扩散模型的研究

Dimond: 通过深度学习优化扩散模型的研究

Dimond: 通过深度学习优化扩散模型的研究 学术背景 在脑科学和临床应用中,扩散磁共振成像(Diffusion Magnetic Resonance Imaging, dMRI)是一种用于非侵入性绘制脑组织微观结构和神经联通性的重要工具。然而,准确估算扩散信号模型参数的计算成本较高,同时易受到图像噪声的影响。现有的多种基于深度学习的有监督估算方法展示了其在提高效率和性能上的潜力,但这些方法通常需要额外的训练数据,并存在泛化性不足的问题。 论文来源 此研究由Zihan Li、Ziyu Li、Berkin Bilgic、Hong-Hsi Lee、Kui Ying、Susie Y. Huang、Hongen Liao和Qiyuan Tian(通讯作者)合作完成,论文发表在《Advanced S...

强化学习中神经网络表示的性质探究

强化学习中神经网络表示的性质探究

传统的表征学习方法通常是设计固定的基函数架构,以达到正交性、稀疏性等期望的性质。而深度强化学习的理念则是,设计者不应编码表征的性质,而是让数据流决定表征的性质,使良好的表征在适当的训练方案下自发涌现。 这项研究探讨了通过深度强化学习系统学习的表征(representation)的性质。此研究将这两种观点结合,通过实证分析,探讨了在强化学习中能够促进迁移的表征所具有的性质。作者提出并测量了六种表征性质,在25000多个代理任务设置中进行了研究。他们使用了带有不同辅助损失的深度Q学习代理,在基于像素的导航环境中进行实验,其中源任务和迁移任务对应于不同的目标位置。 研究人员开发了一种方法,通过系统地变化任务相似性并测量与迁移性能相关的表征性质,从而更好地理解为什么某些表征更适合迁移。他们还证明了该...