高级教程2-实拍+AI的终极玩法,编辑元素,教你做出电影级可控视频
这里是黑石宇的频道,第二期高级教程上半集!
学习颠覆性的免费 AI 视觉特效工作流。
仅使用一张参考图像与 ComfyUI 中的 Wan 2.1. VACE,即可更换任何背景。
视频教程链接
B站链接:https://space.bilibili.com/676258353
油管链接:https://www.youtube.com/@%E9%BB%91%E7%9F%B3%E5%AE%87/videos
首先感谢在B站,和我的博客,为我充电的同学!
非常非常感谢你们支持我的创作!
联系我不要发私信,请发邮件并详细说明事由,谢谢!blackstonexinyu@gmail.com
这是一期将模型使用到极致的Comfyui特效教程!
上下期都学会后,可以做到这个效果

只需要通过输入文字提示词以及参考图,就可以在实拍的视频中添加魔幻的效果


学会这一期内容,你将可以在小区里、巷子里、走廊中、健身房,甚至自己家里,随意开启传送门,
更厉害的是它还可以将你想象的内容通过传送门来到你的面前。



↓↓↓ 工作流和素材文件在文章最下方 ↓↓↓
一、模型下载安装
此工作流程中使用的模型和节点
运行工作流之前,请确保下载所有必需的模型并安装自定义节点。
🟣 下载Diffusion Model
Wan2_1-T2V-14B_fp8_e5m2.safetensors [点击下载]
📁 存储路径: ComfyUI/models/diffusion_models/Wan2_1-T2V-14B_fp8_e5m2.safetensors
Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors [点击下载]
📁 存储路径: ComfyUI/models/diffusion_models/Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors
🟣 下载Lora Model
Wan21_CausVid_14B_T2V_lora_rank32_v2.safetensors [点击下载]
#### 优点:模型对参考图真实感的还原度 要远高于lightx。
#### 缺点:如果参考图是场景,非单一元素,在实拍加Ai结合时,我测试中,镜头运动幅度大时,会出现大幅度还原度效果差,不稳定。所以第一期高级教程中,我所使用的是lightx2v。
📁 存储路径: ComfyUI/models/loras/Wan21_CausVid_14B_T2V_lora_rank32_v2.safetensors
🟣 VAE Model
Wan2_1_VAE_bf16.safetensors [点击下载]
📁 存储路径: ComfyUI/models/vae/Wan2_1_VAE_bf16.safetensors
🟣 CLIP Model
umt5-xxl-enc-bf16.safetensors [点击下载]
📁 存储路径: ComfyUI/models/text_encoders/umt5-xxl-enc-bf16.safetensors
## 🧩 核心节点
### - [comfyui_sam3] 图像和视频分割
### - [comfyui-Comfyui_LG_Tools] 使用图像桥接功能
工作流
顺序依然为从左到右,一共10组内容,所有黄色节点是需要同学们注意设置参数的节点。
工作流有一定难度,需要反复多听多操作,掌握后,不会再有搞不定的工作流!

一、模型加载
第一步中选择正确的模型后,首先将Block Swap块交换节点中的blocckstoswap参数进行调整,
12G显存无脑设置为48,
16G显存设置为35~40,
24G显存设置为25~30,
vace_blockstoswap也一样
12G和16显存无脑设置为15,
24G显存设置为8~12,
这两个参数的值越大生成速度就越慢,但占用的显存会越低。

二、选择分辨率
我再这里预设了3种分辨率,如果你的显存很小,可以手动添加更小一些的分辨率
生成的视频结构只要是正确,再去平台租赁一个gpu来渲染高清视频也是很好的选择!
右边的bool开关节点,连线有些乱,因为我添加了ifelse判断,来快速切换横竖屏
选择true代表是横屏16:9,false代表着竖屏9:16。

三、上传参考图
参考图的背景色填充色,为了让模型更专注于参考图中的内容,我将背景修改为纯白色,一般我使用灰色(#808080)。
但这个素材和灰色太接近了,需要修改一下,点击RMBG节点中的背景色,将808080修改为255255255,点击回车,在点击运行,OK背景就白色了。
背景色根据素材而定,默认使用灰色!

四、生成遮罩
第七组内容中,有三种生成遮罩的方式。
根据不同需求场景,使用不同的方法
7.1中,使用手动绘制遮罩的方法,这个方法适合固定镜头,或者是微晃动镜头。
具体看视频教程讲解

7.2中,上传AE生成,或者是SAM2、SAM3生成的遮罩视频,适合用于编辑视频中固定某个元素!

五、批次处理
第八组内容是构建内补图像序列,用于wan video的control image参数。
这一组会将遮罩叠加再实拍视频上,然后通过预览节点验证是否无误。

总结
传送门只是我偶然看到的素材,灵机一动想到的而已,这一期工作流能实现的效果远远不止于此。
同学们学会后尽量发挥自己的想象力创作出更多好玩的效果。
资源下载
如果你喜欢我的教程,还请在点赞订阅我的B站和油管频道,让我更有动力努力下去,也希望你留下宝贵建议,谢谢!


图片素材:图片素材.zip
视频素材(服务器带宽低,有点慢点击后多等待一会儿):视频素材.zip
工作流(主工作流 +SAM3):高级系列第二期工作流.zip