类型a：这篇文档报告了一项原创研究。

主要作者和机构包括Paul Pu Liang（卡内基梅隆大学）、Chun Kai Ling（哥伦比亚大学）、Yun Cheng（普林斯顿大学）等；该研究在ICLR 2024会议上发表。

学术背景：这项研究属于多模态学习领域，重点在于理解和量化不同模态之间的交互作用。尽管在有充足标注的多模态数据的情况下，多模态交互的研究已经取得了许多理论进展，但在仅有未标注的多模态数据和部分标注的单模态数据的情况下，如何量化这些交互仍然是一个挑战。本研究旨在通过信息论的方法来量化半监督设置下的多模态交互，并提供性能估计、数据收集指导以及模型选择建议。

详细的工作流程： 1. 定义与理论基础：研究首先基于信息论定义了多模态交互，使用部分信息分解（Partial Information Decomposition, PID）将两个模态提供的总信息分解为冗余（r）、独特性（u1, u2）和协同（s）。其中，冗余和独特性可以通过凸优化问题精确计算，而协同则需要进一步推导上下界。 2. 下界推导：提出了两种协同的下界。第一种基于模态间的共享信息，第二种基于单独训练的单模态分类器之间的分歧。这些下界是通过解决最大熵凸优化问题获得的。 3. 上界推导：通过近似算法连接到最小熵耦合问题（Min-Entropy Couplings），推导出协同的上界。这涉及解决一个NP难的问题，但可以通过现有算法进行近似求解。 4. 实验验证：研究设计了综合实验来验证这些估算界限的有效性。实验包括合成位数据集和十个大规模真实世界多模态数据集，如MOSI、MOSEI、Mustard等。通过对比估算值和实际值，验证了这些界限的准确性。

主要结果： 1. 估算界限的验证：在合成数据集中，估算的下界（sr 和 su）能够很好地跟踪实际协同值（s），并且上界（s）也能从上方紧密跟踪s。对于真实世界数据集，估算界限也表现出良好的趋势。例如，在MOSEI、UR-Funny、MOSI和Mustard数据集中，随着估算的sr和su增加，实际的s也相应增加。 2. 应用实例：研究展示了如何利用这些估算界限来预测多模态模型的性能。例如，在MOSEI数据集中，估算的性能范围为52%至107%，平均值为80%，非常接近实际模型性能（82%-88%）。类似地，在其他数据集中，估算性能也紧密跟踪实际性能。 3. 数据收集与模型选择：高估算性能的数据集（如Mustard和Enrico）显示出从单模态到多模态融合的显著改进，表明收集完整标注的多模态数据是有价值的。此外，估算性能还与不同融合方法的性能密切相关，复杂融合方法在高估算性能的数据集中表现更好。

结论与意义：这项研究提供了量化多模态交互的新方法，尤其是在仅有部分标注数据的情况下。通过估算界限，研究不仅能够预测多模态模型的性能，还能指导数据收集和模型选择。这些成果对多模态学习领域的理论分析和实际应用具有重要意义。

研究亮点： 1. 提出了基于信息论的多模态交互量化方法，适用于半监督学习场景。 2. 推导了协同的上下界，为理解多模态交互提供了新的视角。 3. 实验验证了估算界限的有效性，并展示了其在性能预测、数据收集和模型选择中的应用。

其他有价值的内容：研究还探讨了估算界限在不同噪声水平下的鲁棒性，并讨论了分歧与协同的关系如何启发新的自监督学习方法。