无监督时间一致性学习用于视频对象的一致性删除

无监督时间一致性学习用于视频对象的一致性删除

无监督时间一致性学习用于视频对象的一致性删除 研究背景和动机 在视频编辑和修复领域,视频对象删除(Video Object Removal)是一个重要的任务。它的目标是在整个视频中擦除目标对象,并用合理的内容填补空洞。现有的解决方案主要分为两个子任务:(1) 掩膜跟踪(Mask Tracking)和 (2) 视频填充(Video Completion)。然而,这两者通常被视作独立的问题,并分别处理。这种划分导致系统变得过于复杂,需要多个模型的协同工作,不仅增加了训练和部署的难度,也不利于实际应用。 论文指出掩膜跟踪和视频填充在像素级时间对应方面有着强烈的内在联系,利用这些联系可以简化算法复杂度并有助于实际部署。因此,作者提出了一种新的统一视频对象删除(Unified Video Object...