您当前位置:首页 > 业界快讯 > 正文

谷歌最新视频抠图术: 影子烟雾都能抠,还开源

谷歌最新的视频分层技术 ——omnimatte,已入选 CVPR 2021 Oral。Omnimatte 针对任意移动的对象和主体,都能将所有元素抠出来。具体实现方法如下:

谷歌最新视频抠图术:  影子烟雾都能抠,还开源



输入一段有移动物体的视频,以及一个或者多个标记主体的粗略分割蒙版。首先,使用现成的分割网络比如Mask RCNN,来讲这些主体分成多个遮罩层和背景噪声图层,并按照某种规则进行排序。比如,在一个骑手、一辆自行车以及几个路人的场景中,就会把骑手和自行车归入一个层,把人群归入第二层。

谷歌最新视频抠图术:  影子烟雾都能抠,还开源



omnimatte 模型是一个二维 UNet,逐帧处理视频。每一帧都用现成的技术来计算物体掩码,来标记运动中的主体,并寻找和关联蒙版中未捕捉到的效果,比如阴影、反射或者烟雾,重建输入帧。为了保证其他静止的背景元素不被捕获,研究人员引入了稀疏损失。

谷歌最新视频抠图术:  影子烟雾都能抠,还开源



此外,还计算了视频中每一帧和连续帧之间的密集光流场,为网络提供与该层对象相关的流信息。最终生成Alpha 图像(不透明度图)和 RGBA 彩色图像,尤其 RGBA 图像,简直可以说是视频/图像剪辑法宝!

目前这一技术已经开源,配置环境如下:Linux;Python 3.6+;英伟达 GPU + CUDA CuDNN。

热门测算

为您推荐