基于混合专家与三维模拟内存计算的大语言模型高效扩展 学术背景 近年来，大规模语言模型（Large Language Models, LLMs）在自然语言处理、文本生成等领域展现出了强大的能力。然而，随着模型规模的不断增加，训练和推理的成本也急剧上升，尤其是在内存占用、计算延迟和能耗方面。这成为阻碍LLMs广泛应用的主要瓶颈之一。传统的冯·诺依曼架构在处理大规模参数时，数据频繁在内存和计算单元之间移动，导致所谓的“冯·诺依曼瓶颈”，加剧了这些挑战。 为了解决这一问题，研究者们探索了多种技术路径，其中之一是“专家混合”（Mixture of Experts, MoE）架构。MoE通过条件计算（conditional computing）机制，动态选择输入的处理路径，只激活模型的一部分参数，从而显...

多模态学习揭示基因型-表型动态关系 背景介绍 基因型与表型之间的复杂关系一直是生物学领域的核心问题之一。基因型（genotype）指生物体的遗传信息，而表型（phenotype）则是这些遗传信息在特定环境下的表现。尽管早在1909年，Wilhelm Johannsen就提出了这两个术语，并试图量化它们之间的关系，但一个多世纪以来，我们仍然无法精确地描述基因型如何通过复杂的基因表达模式塑造表型。近年来，单细胞RNA测序（single-cell RNA sequencing, scRNA-seq）等技术的发展使得我们能够在细胞分辨率下观察基因表达的复杂动态，然而这些技术仍然无法全面映射基因型组合如何导致表型的产生。 当前的研究方法，如正向遗传学（forward genetics）和反向遗传学（r...

免疫检查点抑制剂毒性的预测与监控：DysPred深度学习框架的突破性应用 学术背景 免疫检查点抑制剂（immune checkpoint inhibitors, ICIs）是近年来癌症免疫治疗领域的重大突破，通过抑制免疫检查点信号通路，增强机体的抗肿瘤免疫反应。然而，ICIs在治疗过程中可能引发广泛的免疫相关不良反应（immune-related adverse events, irAEs），这些不良反应不仅影响患者的生活质量，甚至可能导致器官功能受损或死亡。由于irAEs在临床环境、肿瘤类型、组织特异性及患者人口统计学特征中的高度异质性，亟需一种稳健且可扩展的方法来预测和管理这些不良反应。 尽管已有研究通过临床试验和传统的药物不良反应数据集（如SIDER和OFFSIDES）对irAEs进行...

随着人工智能（AI）技术的快速发展，深度学习在复杂任务中取得了显著进展。然而，深度学习的成功在很大程度上依赖于大量标注数据，而数据的标注过程不仅耗时、劳动密集，还需要专业的领域知识，成本高昂。特别是在一些专业领域中，如机器人技能学习、催化剂发现、药物发现和蛋白质生产优化等，获取标注数据的难度和成本尤其突出。为了解决这一问题，深度贝叶斯主动学习（Deep Bayesian Active Learning, DBAL）应运而生。DBAL通过主动选择最有信息量的数据进行标注，显著提高了标注效率，从而在有限标注数据的情况下实现高质量的学习。 然而，DBAL的实现面临着一个重要的技术挑战：它需要处理大量的随机变量和高带宽的数据传输，这对传统的确定性硬件提出了极高的要求。传统的互补金属氧化物半导体（Co...

可编程形状优化与形变问题的研究：Morpho环境的开发与应用 学术背景 软材料（soft materials）在科学和工程领域中扮演着至关重要的角色，特别是在软体机器人、结构流体、生物材料与颗粒介质等领域。这些材料在机械、电磁或化学刺激下会发生显著的形状变化。理解并预测这些材料的形状变化，对于优化设计及其背后的物理机理具有重要意义。然而，形状优化问题通常非常复杂，现有的模拟工具要么功能有限，要么不够通用，导致研究人员在处理这类问题时面临诸多挑战。 为了解决这一难题，研究人员开发了一个开源的、可编程的优化环境——Morpho，旨在为形状优化问题提供一个通用且易于使用的工具。Morpho能够处理多种软材料物理问题，如膨胀水凝胶（swelling hydrogels）、复杂流体中的非球形液滴、肥皂...

关于动态视觉刺激生成的时空风格转移算法的研究报告 学术背景 视觉信息的编码与处理一直是神经科学和视觉科学领域的重要研究方向。随着深度学习技术的快速发展，研究人工视觉系统与生物视觉系统之间的相似性成为热点。然而，视觉研究中生成适当的动态视觉刺激以测试特定假设的方法相对匮乏。现有的静态图像生成方法虽然已有较大进展，但在处理动态视觉刺激时，仍存在灵活性不足、生成结果偏离自然视觉环境统计特性等问题。为此，研究者们开发了一种名为“时空风格转移”（Spatiotemporal Style Transfer, STST）的算法，旨在生成能够匹配自然视频的低级时空特征，同时去除高级语义信息的动态视觉刺激，为研究物体识别提供了有力的工具。 此外，深度学习模型在视觉任务中的表现与生物视觉系统的比较也需要大量的可...

基于模拟退火算法的加权网络随机化研究 背景介绍 在神经科学领域，连接组学（connectomics） 是研究大脑神经网络结构和功能的重要分支。随着现代成像技术的发展，研究人员能够获取到大量的生物意义丰富的边权重（edge weights），这些权重信息对于理解大脑网络的组织和功能至关重要。然而，尽管加权网络分析在连接组学中日益普及，现有的网络随机化模型大多仅保留二元节点度（binary node degree），而忽略了边权重的重要性。这导致在评估网络特征的显著性时，可能无法准确反映出权重信息的影响。 为了解决这一问题，来自McGill University、University of Minnesota等机构的研究团队提出了一种基于模拟退火算法（simulated annealing al...

引言 近年来，利用数值方法求解偏微分方程（Partial Differential Equations, PDEs）已在工程和医学等广泛学科中扮演了重要角色。这些方法在拓扑和设计优化以及临床预测中的应用已显示出显著成效。然而，由于在多种几何体上进行多次问题求解所需的计算成本非常高，导致这些方法在很多场景下变得无法负担。因此，开发能够在不同几何条件下提高PDE求解效率的方法，成为了近年科学机器学习领域的一个研究热点。 论文背景与来源 《A Scalable Framework for Learning the Geometry-Dependent Solution Operators of Partial Differential Equations》这篇文章由Minglang Yin、Nic...

基于Genotype Representation Graph (GRG)的研究：提升生物数据分析效率的新框架 学术背景与研究动机 随着测序技术的迅速进步，大规模基因组数据的收集变得愈发普遍，尤其是在人类疾病关联研究领域，基因组数据的分析需求日益增长。2023年底，英国生物银行（UK Biobank）在其云计算平台上发布了约50万份全基因组数据，其中已有20万份完成相位（phased）处理。这类庞大的数据集为科研提供了前所未有的机会，但也带来了新的难题：如何高效地编码和分析如此巨大的基因组数据？传统的二维表格化数据结构（如VCF文件格式）在储存和计算效率方面面临瓶颈，难以应对不断增长的数据需求。 在这一背景下，科学家们提出了新的数据表示和处理方法以优化压缩率和计算性能。本研究的目标是开发一种...

从无定形前驱体预测晶体的出现：深度学习助力材料科学新突破 背景介绍 晶体从无定形物质中逐步生成的过程在自然界与实验室中具有重大意义。这一过程广泛存在于从地质到生物过程的各种现象中，并且在开发新材料的过程中占据核心地位。然而，无定形状态向晶体态的转化中，最初出现的常常是亚稳态（metastable state）晶体，而非热力学上的稳定态晶体。这种亚稳态形成的普遍规律可以通过”Ostwald法则”加以解释，该法则指出与无定形前驱体（amorphous precursor）具有相似局部结构特征的晶体将更容易优先成核。 无定形材料的晶化过程，尤其是其能量景观（energy landscape）的建模，一直以来是科学界的难点。传统的分子建模方法或从头计算（ab initio methods）由于计算量...