本文介绍了一项关于物理基础视觉-语言模型（Physically Grounded Vision-Language Models, PG-VLMs）在机器人操作中的应用研究。该研究由Jensen Gao、Bidipta Sarkar、Fei Xia、Ted Xiao、Jiajun Wu、Brian Ichter、Anirudha Majumdar和Dorsa Sadigh等人共同完成，研究团队来自斯坦福大学、Google DeepMind和普林斯顿大学。该研究于2023年发表在《arXiv》预印本平台上。

研究背景与动机

近年来，视觉-语言模型（Vision-Language Models, VLMs）在视觉问答（Visual Question Answering, VQA）和图像描述等任务中取得了显著进展。然而，现有的VLMs在理解常见物体的物理属性（如材料、易碎性等）方面仍存在局限，这限制了它们在需要物理推理的机器人操作任务中的应用。为了解决这一问题，研究团队提出了Physobjects数据集，该数据集包含39.6k众包标注和417k自动化标注的常见家居物体的物理属性信息。通过在该数据集上微调VLMs，研究团队展示了模型在物理推理能力上的显著提升，并将其应用于基于大语言模型（Large Language Models, LLMs）的机器人规划框架中，进一步提高了任务规划的成功率。

研究流程与方法

研究的主要流程包括以下几个步骤：

1. 数据集构建：研究团队构建了Physobjects数据集，包含8个主要物理属性（如质量、易碎性、材料等）和2个保留属性（如密度、液体容量）。数据集中的标注包括分类标签（如“物体X由塑料制成”）和偏好对（如“物体X比物体Y重”）。标注过程结合了自动化标注和众包标注，确保了数据的多样性和准确性。

2. 模型微调：研究团队使用InstructBLIP作为基础VLM，并在Physobjects数据集上对其进行微调。微调过程中，模型通过视觉输入和文本提示来学习物体的物理属性。对于连续属性（如质量、易碎性），模型通过偏好学习（preference learning）来推断物体之间的关系。

3. 机器人规划框架：研究团队将微调后的VLM与基于LLM的机器人规划框架结合。在该框架中，LLM通过向VLM提问来获取场景中物体的物理属性信息，并基于这些信息生成任务规划。研究团队在真实机器人（Franka Emika Panda）上进行了实验，验证了该框架在物理推理任务中的有效性。

主要结果

1. 数据集评估：微调后的VLM在Physobjects数据集上的测试准确率显著提升，尤其是在保留属性（如密度、液体容量）上的泛化能力表现出色。例如，在“易碎性”任务上，微调后的模型准确率达到了94.6%，而基础模型的准确率仅为64.9%。

2. 规划任务评估：在真实场景的规划任务中，使用微调后的VLM显著提高了任务规划的成功率。例如，在涉及多个物理属性的任务中，微调后的模型成功率为94.4%，而基础模型的成功率仅为27.8%。

3. 真实机器人实验：在真实机器人实验中，使用微调后的VLM显著提高了任务执行的成功率。例如，在“将非塑料物体移到一边”的任务中，微调后的模型成功率为100%，而基础模型的成功率仅为40%。

结论与意义

该研究的核心贡献在于提出了Physobjects数据集，并通过微调VLM显著提升了模型在物理推理任务中的表现。研究结果表明，物理基础VLM能够有效提升机器人规划任务的性能，尤其是在需要复杂物理推理的场景中。此外，研究团队还展示了该模型在真实机器人操作中的实际应用价值，为未来机器人智能化操作提供了新的思路。

研究亮点

1. 新颖的数据集：Physobjects是首个大规模的家居物体物理属性标注数据集，填补了现有数据集的空白。
2. 创新的模型微调方法：通过偏好学习和物理属性标注，研究团队成功提升了VLM在物理推理任务中的表现。
3. 实际应用验证：研究团队在真实机器人上验证了模型的实用性，展示了其在复杂物理推理任务中的潜力。

未来工作

尽管该研究取得了显著进展，但仍存在一些局限性。例如，模型在处理某些物理属性时仍会出现错误，且其输出并未完全基于真实的物理量。未来的研究可以进一步探索如何结合真实的物理测量数据，以提升模型的推理能力。此外，研究团队还计划扩展物理推理的范围，涵盖几何推理（如物体是否适合放入容器）和社会推理（如哪些物体适合移动）等领域。

该研究为物理基础VLM在机器人操作中的应用提供了重要的理论和实践基础，具有广泛的科学和应用价值。