
自己主演Ai电影,实拍与Ai完美结合,用免费的工作流制作你的专属特效电影!
可能是因为早期我从事影视特效工作的缘故,我经常会想如何将实拍内容与Ai生成的视频进行结合。
前几期我讲解了如何通过路径动画来控制遮罩位移,从而实现为实拍视频添加元素,我当时就在想如果将整个视频的背景用遮罩填充,那是不是就可以将整个背景进行更换,达到像绿布抠像一样的效果!
于是我制作了一系列需要相互配合的工作流!更换背景、让实拍的DWPose来控制添加元素动作、途虎调色合成工作流!
B站教程链接:https://www.bilibili.com/video/BV1KXa9zbEbS/
油管教程链接:https://youtu.be/bC54g3bSplQ
献上这一期工作流制作的短片。自制娱乐!如有雷同纯属巧合。
↓↓↓ 工作流和素材文件在文章最下方 ↓↓↓
部分效果
本期教程一共有三个工作流,都很简单,搭配到一起就可以实现惊人的效果!
模型下载 (使用Wan2.1是因为2.1的vace模型)
Wan2_1-T2V-14B_fp8_e5m2.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1-T2V-14B_fp8_e5m2.safetensors
📁 ComfyUI/models/diffusion_models
Wan21_CausVid_14B_T2V_lora_rank32_v2.safetensors:
📁 ComfyUI/models/loras
Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors
📁 ComfyUI/models/diffusion_models
umt5-xxl-enc-bf16.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/umt5-xxl-enc-bf16.safetensors
📁 ComfyUI/models/text_encoders
Wan2_1_VAE_bf16.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1_VAE_bf16.safetensors
📁 ComfyUI/models/vae
一、更换背景工作流
工作流一共分为9个部分,后三个部分可以跳过。
您可以点击左侧的链接下载所需的模型。
此外,如果你是16或者12G以下的显存blocks_to_swap设置为40,vace_blocks_to_swap设置为15
第三组中添加要进行更换背景的视频! 第四组中上传要背景的参考图!也可以不通过参考图直接使用提示词生成背景,往下看!
在第六组中
提示词一定要符合我们第四组中上传的参考图!
如果你不会填写提示词,可以点击进入在线提示词反推站点,但是结果同样并不能直接使用,你可以将他翻译过来,然后摘取里面必要的内容,和你要添加的内容进行整合。
如果你不想使用第四步中的参考图来生成视频,可以来到vace编码节点,将ref_images参数的节点连线删除,就可以完全根据提示词来生成!
第七组中,使用了KJ的色彩匹配节点来进行调色,需要传入一张色调参考图,方法参数一般场景选择mkl,强度根据实际情况调整,范围为0~1。
二、结合DWPose + inpaint实现添加元素工作流
在第五组中手动绘制要添加元素的区域,右侧可以看到合成效果,第六步将遮罩和源视频进行合并,得到正常场景下的inpaint内补图像序列
第八步中,将内补图像序列和DWPose进行结合!通过上传实拍的动作调整大小和位置后,与遮罩完美结合!
提示词中需要包含添加的元素外貌特征以及动作描述即可!
三、调色合成工作流
第一组内容是视频的前景内容,色温节点属性分别为色温的强度、亮度、对比度、饱和度,RGB。色调节点的参数取值范围为正负100,值越大色调越冷!
第二组内容是视频的背景内容,背景可以是视频也可以是图像!
第三组是合成预览,第四组是色彩匹配。前面有提到过,不多解释了!
使用nmkd模型在放大视频时有一些局限,当背景拥有复杂条纹,或者背景昏暗时,它发挥的可能不是太理想,但其他的场景下它确实很出色!
补帧节点只需要关注clear cache参数它表示每隔多少帧后清除缓存,以及下面乘数参数,默认为2代表每两帧中间插入一帧!一般不需要调整!
工作流 + 素材下载
如果你喜欢我的教程,还请在点赞订阅我的B站或油管频道,让我更有动力努力下去,也希望你留下宝贵建议,谢谢!
工作流 : 工作流.zip
测试素材:分享素材.zip