带你了解8K VR视频后期处理技术,远离“渣”画质(上)

发布时间:2024-09-19     点击量:
点击"POPDV"↑一键进入影像圈很多时候拍摄视频VR项目都需要用到全景摄影一体机,或者使用多个Gopro进行全景视频拍摄,你会发现在拍摄完成后导出的图片还是清晰的,为什么转换为360全景VR视频以后就会变得模糊呢?而且有的时候天空和地面织布得也不是那么完美,尤其是在导出单帧图片的时候会发现视频中有大量的接缝需要处理,但是在设备上看觉得还可以,为什么放到4K显示器播放的时候就不行了呢?就算是录制的是8K分辨率的视频文件,但还是不清晰。就像这张VR视频截取画面,明显可以看到房檐上面的裂痕,画面拉伸到4K满屏以后就变成了不清晰的马赛克画面,画面质量降低。8K画质应该是非常清晰的,但是很多VR相机拍摄完成以后再导出VR影片拼接,并使用剪辑软件进行后期剪辑后,画质会变差,8K录制的VR画质感觉就像720p一样,但是不折叠成VR全景的时候画面看起来又不错了,怎样才能避免这样的情况出现呢,这次就跟各位详细讲解一下NUKE CARA VR教程。

后期还会具体介绍如何使用达芬奇对于VR全景视频的后期色彩管理及调色教程。

CARA VR是NUKE中创作360VR视频的一套插件,涵盖了从缝合到标准合成的工作流程,在这篇文章里我们将完成环形立体装置的缝合,我会使用在沈阳白塔弥陀寺的全景案例中的镜头。当拍摄360视频时,通常都需要拍摄一组视频拼合在一起,将鱼眼或直线投影(rectilinear)空间转换为整体的经纬投影(Lat/long),俗称echo rectangular图像。拍摄VR的相机有可能是多种形状和尺寸的,在本文中我使用的是BMPCC 6K+CANON 8-15鱼眼镜头拍摄的四组视频,我们可以用它来创建立体输出,由于只拍摄了前后左右四个面的视频,所以天空和地面有少部分会是空白的,需要后期来织补。一、校准装置布局

现在我们将把这些素材连接到C_CameraSolver上,需要连接的素材很多,不过有些技巧能让操作更加快速,首先我们按次序选择需要连接的素材,然后按键盘TAB键调出搜索框输入C_CameraSolver,这就会按照所选次序直接连接上,然后再连接C_CameraSolver到Viewer1上面,预览窗口会出现视频。

工程格式要设定为Lat/Long,左上角点击【Edit】选择Project settings,在右侧属性面板里修改full size format为2K _ latLong 2048 x 1024,随后预览窗口会有2K_latLong显示。

双击C_CameraSolver,在属性里可以看到很多参数,我们需要填写拍摄相机的详细参数,填写越详细,解算完成得越好。我们从Preset(预设)开始,这能自动设定好相机位置、旋转以及镜头信息等,例如F360-H3(Freedom 360)或Nokia OZO(诺基亚的OZO),那样我就能直接导入,由相机型号写出了相关的元数据,因为这个软件构建的较早,在这里并没有相应的预设,还有一种方式是选择PTGui(.pts)模板可以在这个选项中导入,但我们也没有这的信息,所以我选择Custom(自定义)选项来从头建立模板,若没有其他任何数据,就要勾选Set global camera parameters (设定全局摄影机参数),其中包括Lens Type(镜头类型)、Sensor Size( 传感器尺寸)、Film Back Preset(底片)和 Focal Length(焦距)。

展开Cameras配置出相机的参数,这里的每一行都代表了一个独立的相机,从这里能得到镜头类型、底片、焦距、位置、旋转等等,如果需要可以直接在这里手动编辑每一行。

也能切换到相机(Cameras)标签,并选择各行,然后使用上方标准的NUKE按钮来编辑。当然也可以选择多个相机同时编辑。

下面要做的就是利用相机解算工具里的分析工具从零开始厘清相机布局,这将具体使用不同视图之间特征匹配来完成,而特征匹配则是由所指的关键帧所决定,因此需要去选择在重叠的区域中带有特征的帧,避免选择像蓝色的天空这样的对象,因为没有任何可相互匹配的特征,此节点默认在创建时就会建立关键帧,所以这里就保持原样。

首先要做的是点击匹配(Match),这就开始在不同相机之间寻找相应的特征,它会寻找尽可能多的特征,同时剔除那些不能组成合理模型的部分。默认情况下,这个处理只在重叠区域进行,但由于我们没有预设,所以能看到每个相机都在画面正中相互重叠,即针对每个指定的关键帧,都会搜索输入相机的每个像素,为此呈现出整片橘黄色的特征。

现在开始点解算(Solve),这就开始运用匹配特征,并从相互的约束中厘清配置的参数。现在我们看到的装置具有单个焦距值,所有相机都一致,且没有镜头畸变,这些相机都位于一个球体上。这相对很多视图将锁定到单个镜头节点的解算来说,还是更加符合几何正确的,那在利用单个相机拍摄环境的DSLR时代,这样做是没问题的。但对于相机之间实际具有尺寸和空间的VR来说,就有问题了,现在解算已经完成。可以在预览窗口看到相机已经展平出预览缝合结果,并且也能在相机参数这里看到这个数据,看上去效果很不错。

在解算时,软件会试图找出水平的相机装置组,点击属性上面的设置(Setting)标签,并利用其进行周围的对齐,所以在Setting(设置)里可以对全景视频做全局性的旋转,我们可以调整rotate的Y轴-180,让寺庙处于画面的中心位置。也可以同时按住CTRL+ALT 配合鼠标左键调整水平位置,当调整完成后,会看到rotate的XYZ轴中有调整数据显示。如同NUKE中的其他节点,可以通过Q键来切换覆盖显示。

由于是自定义相机解算,我们需要确保输入的尺寸是正确的,所以展开相机(Cameras)标签,查看相机的尺寸参数,在这里,相机大致是30厘米,这是没问题的,这个设置将匀化影响到所有以尺寸为基础的参数,为此当需要按真实世界空间来操作,就需要将其设定为已知尺寸。

其中一个被匀化的影响的参数就是下方的汇聚(Converge),现在看到的预览缝合是由所有的源视图通过计算后的相机投影到球形上而得到,而球形的深度则正是由这的汇聚参数值所管理的,可以看出场景中较近的对象开始汇聚的更好了,若设定的非常近,可以看出非常近的对象正在汇聚,在进行操作时,可看出特征对齐的方式,这也意味着,无需看到所有特征完全对齐。应该注意到的,特别是围绕汇聚线条之间的正是水平偏移,你可以根据需要来设定这个汇聚值。不过,若没有自定义几何体或我们稍后看到的类似技巧,您的世界模型就是一个围绕着相机装置的球体,可以利用转换参数来拾取Hero的深度信息,之后下方的各行将使用C_Stitcher,同时尝试增加准确缝合的深度范围,不过这是一个很重要的点。因为如果你需要去查看带有大量深度信息的东西时,你需要考虑将缝合划分为多个不同层,这是一个例子,或者投影到几何体上。

我们还可能将视图切换为3D特征预览模式,在视图窗口右上角选择3D,这里会显示出包含计算后装置中所有不同相机在内的3D覆盖,从这里能看出我们有四个相机,此外还有根据其源深度三角算法得出特征点,由于NUKE中相机的默认图标尺寸较大,因此可以在相机标签里临时将相机参数Rig size调小或调大,方便观看,但是别忘记调回0.3数值。

到这一步看上去还不错,目前我们可将此模板按现状保留并继续工作,不过首先还是花点时间来提高解算质量吧,良好的模板至关重要,立体缝合尤甚。这里能看到全部的缝合错误信息,也就是当上次分析运行时得到的RMS错误统计,解算错误(Slove Error) 6.9并不糟糕,当也谈不上好,我们还能从每个实际特征点本身来细分查看,或者利用左侧工具栏中的不同模式来查看不同相机间的总体链接,在相机链接模式中能看到不同特定相机之间链接的整体性测量值,在预览窗口里可以看到4号和1号相机之间的平均值是8.93,透过这两个相链接相机之间的特征点中有108个相互链接的特征点,因此,这看上去不错。

错误阈值为10红色点较少

错误阈值为2红色点增加

对于单独的特征点也是一样,当拖动错误阈值时,就可以看到绿色非常好的链接点和红色不好的链接点之间的变化。

我们可以用这个拒绝匹配(reject)按钮来删除红色部分,不过我个人尚未发现有太多帮助。如果你看到两者链接的明确特征点根本不正确,那可以专门选择并按DEL键删除掉,这样的选择同样也能在3D特征点预览中操作。并且我们可以利用优化(Refine)来提升质量。

优化与解算做的是同一件事,但在开始运作前并不会将装置复位到默认状态,因此可用其不断提升最终质量,要进行更改调整上面的约束参数,现在我们已经得到了大致的估算,继续优化,并对所有相机应用一个单镜头畸变,修改Focal Length(镜头焦距)为Optimize Single(优化单个),然后点击优化(Refine),现在能看到我们显著的降低了整体解算错误。这很不错,而且仔细看缝合,看上去并不糟糕,有时会碰到非常麻烦的案例,那时就要切换到相机分别优化将会有用。

下面做第三步的优化,不过若是对于立体缝合那应该避免这个操作,因为这可能会导致场景的视觉错误,即通过利用畸变来减少视差特征,但对于单视缝合会有所帮助,而对立体缝合来说,减少几何校正将会有损最终结果,在通常的单视缝合方面的复杂问题处理中,可以帮助改善各相机镜头畸变,以进行相机视点缝合,这本质上是通过位置估算从方程中去除,并允许旋转来进行局部的非对齐校正,需要特别注意的是这么做以后就不能从结果装置中得到相机分离了,下方不再有汇聚(Converge)控制,因为每个单视图都将从那个单个镜头节点投影出。

下一步就是得到正确的水平线,在这个案例中估算的很不错,我们可以在设置标签中调整全局装置变换,或者利用左边的水平线调整工具,按键盘Q键切换回覆盖显示,可以同时按住CTRL(或command)+ALT 配合鼠标左键拖拽就能将水平线进行移动,而如果按住Shift,那还能锁定到特定轴向,非常有用。当调整完成后,会看到rotate的XYZ轴中有调整数据显示。同样的方式,也可以进入左侧的相机工具来拾取特定相机并移动来调整缝合,要想以更精确的数字来控制调整可以进入Cameras标签来修改每个相机指定的参数,对于高级用户这些参数在默认工具中也同样可用,之后进行的调整,则完全取决于当前的选择。这里没有相对水平对齐的工具,能用的就是栅格覆盖,现在已经有不错的模板了,可以继续下游的工作了。

在这之前,我们先来看看相机解算工具隐藏的另一个技巧,就是在下方输出选项里,在此可以建立能展现我们解算出的特定缝合模板的节点图表,例如,可以创建出一组相机集合,NUKE的标准相机节点,这样可以将输出场景相连接,可以看到这些都实际匹配在之前特征预览覆盖中所看到的相机,这样我能运用这些来完成标准的NUKE投影任务。同样还能建立其本质上的就是包含节点组合的一个手动2D缝合(Manual 2D Stitch),建立起我们预览缝合的整个展现,并分割为图层,这样能进入并分别投影,根据使用缝合目的不同,甚至能将相机解算工具输出按原样导出并运用与剪辑等。不过这个案例中,我们将继续之后的工作。

二、消除伪影完成最终清理

现在我们已经得到了不错的模板,下一步就是加入C_Stitcher(缝合),选中C_CameraSolver按TAB键调出搜索框,输入C_Stitcher,这将把元数据和源视频注入到由相机解算工具得到的流中,并将其转入最终质量的缝合中,因此需要上游相机解算工具,否则会缺少完成工作所需的数据,现在缝合将使用来自OCULAR的视差矢量技术,以在平滑融合之前尽力对齐相机之间的覆盖区域,这能省去大量的手动对齐工作,并且也没有采用其它软件包中常见的缝合技术,那些技术围绕一条线进行混合,那条线在运动中将会非常明显,特别是当相机移动或角色移动跨越时。现在我们的主视图窗口已经是最终质量的缝合,下面由汇聚(Converge)控制可用来定义所投影球体的深度,但如果我们查看结果,能看到场景中很多深度,已经由于视差矢量的运用而汇聚了,我们可以利用扭曲(Enable Warps)切换来开启和关闭基于矢量的扭曲。也可以在矢量(Vectors)标签中调整,不过要记住,关闭后看到的是预览缝合,即从相机解算工具所得到的结果,生成这些视差会消耗很多计算时间,因此只有在场景中有运动时才真正需要运用。

为此又再一次引入了关键帧控制Stitch Keys(缝合关键帧),再次说明当节点创建时就会建立一个关键帧,即在这一帧就已经生成一组视差矢量,之后将用于其他帧上,若场景中没有太多运动,这就没问题,但若是有,那有可能需要每帧都加入关键帧,默认的 Step 30通常是正确的值,点击Key All(全部键 ),需要记住我们是为第1帧,31帧和61帧生成关键帧,以此类推,因此当第5帧时,将会生成与第1帧以及之后是31帧相对齐的视差矢量,然后将两者插值以用于第5帧,而如果到了第6帧,那么则是运用来自第1帧和第31帧之间的矢量缓存并重新插值,而到了71帧,则生成新的矢量,届时将从61帧和91帧之间插值生成,类似于从第1帧和31帧之间缓存矢量一样,为此在不同关键帧直接跳转时需要记住这点,因此在渲染格式中渲染帧时,更需要记住这点,因为如果单个机器可以生成这两个帧并插值每个其他帧,那速度会快很多,而每个帧都加入关键帧,如使用步数为1,也就意味着每一帧画面都需要生成新的矢量PASS,结果从理论上来说要更加精确,且意味着不需要生成两组矢量,只要为当前帧生成单组矢量,因此看到帧的初始时间会更快一些,实际案例中就是在质量结果、晃动结果的时序一致性以及渲染时间中来取舍了。

因为一旦得到了很好的缝合,那肯定希望是将其结果制作为图像,现在通过切换开启立体缝合(Enable Stereo Stitch)并配置立体标签,勾选Enable Stereo Stitch,然后来到立体(Stereo)标签并配置它,我们现在可以开始设置我们的立体输出了,这需要大量重叠的源装置,因此,若具有的是单视装置则不会有用,在这个案例中,我们用了四个环形相机且每个输出像素至少都是两个相机,因此结果是应该不错的,这将运用来自我们源视图中的视差矢量和插值,来同时对齐重叠区域,并建立经垂直对齐的左、右眼视图输出,并允许您在渲染时控制两眼间距离所需的IPD值,此标签同样允许指定生成不同左、右Lat/Long视图中的视差,该如何衰减到两级区域,若不进行衰减,这也是可能的,现在是一组环形相机,没有向上和向下的相机,该如何完成?

当你在头戴设备中查看穿越图像顶部或底部区域时,由于这会突然交换左右视图,会有突然断开感,看起来会非常不舒服。而下面的这些控制则可让你依照几种不同的标准方式来衰减视差,即可以匹配缝合素材衰减到所需的渲染器中,或者用其它缝合来处理这点。要创建出我们正在讨论的左视图,它将运用之前已在相机解算工具中标记为对特定视图有贡献的所有资源,例如我们在装置中拾取1号相机后转到装置标签,即可较容易看出变化,这已经配置了可用于所有视图,因此缝合中每个输出视图都会使用这个特定相机,可以说它只会出现某个特定的输出视图中,因此若你具有这样的成对的相机装置组,你可以这样使用,即具有成对排列的4个相机,所以在四个不同朝向中都分别拥有其左视图和右视图,在本视频中,可看到每个索引为偶数的相机都标记为左,而每个索引为奇数的相机则标记为右,而对于球形或者环形相机装置来说,就好像我们正在看这里,需要将每个相机用于每个单独视图输出。

与相机解算工具缝合可以输出表现相似,所做的就是利用一组标准的NUKE节点,但这些扭曲的应用都是由缝合生成的矢量来管理,这些实际上就是运用输出中的缝合贴图通道,因此STMaps输入需要连接到缝合中,而源素材则需要连接到相机解算工具中,不过有意思的是,需要注意我们这里只用了单个ST贴图节点,但实际上应用到了每个视图流中去了,这是由于我们拾取了分担(split)选项,在这个分离集中,有多个输出选项,分别(separate)能为每个视图提供单张ST贴图,而分担(split)则给出单张ST贴图来管理所有视图。

到这里就介绍完拼接的缝合过程了,由于文章需要介绍的内容比较多,所以需要分为三部分来为您介绍,在《带你了解8K VR视频后期处理技术,远离“渣”画质(中)》篇为您继续介绍如何调整画面曝光问题及解决天空与地面织补问题,请留意后续文章。

文章为POPDV原创,欢迎小伙伴们积极分享,如需转载敬请注明出处。推广合作请添加微信"celinelb"。

尼康发布尼康Z 9全画幅微单相机固件5.00版本

近日,尼康公司宣布为其旗舰全画幅/FX格式微单相机尼康Z 9发布固件5.00版本。固件5.00版本是Z 9发布以来的第四次更新,通过扩展“自动拍摄”和“高速画面捕捉+”功能,提高了运动摄影的可用性。人像摄影也得到了增强,可以通过新的“皮肤柔和”和“调整人像形象”功能以及新的丰富色调人像优化校准功能,更有效地捕捉摄影师想要的图像,从而可以以丰富的色调渲染拍摄对象肤色的细节。此外,我们还进一步改进了Z 9的可操作性,以提高速度和效率,以满足专业摄影师的需求。

尼康将通过扩展相机功能的固件更新不断满足用户的需求。

上一篇:自己的设计作品,现场该如何拍摄?

下一篇:联盛公司组织开展视频拍摄培训活动

Copyright © 2010-2024 Powered by EyouCms 非商用版 向未来视觉 版权所有 非商用版本 备案号:沪ICP备2024066551号-3

友情链接:真菌荧光染色剂 日本新闻 展会B2B 芝麻信息网 同轴连接器 直播基地 广州服务器回收 正经小说网 搜外友链