这里是黑石宇的频道,第二期高级教程上半集!

学习颠覆性的免费 AI 视觉特效工作流。

仅使用一张参考图像与 ComfyUI 中的 Wan 2.1. VACE,即可更换任何背景。

视频教程链接

B站链接:https://space.bilibili.com/676258353

油管链接:https://www.youtube.com/@%E9%BB%91%E7%9F%B3%E5%AE%87/videos

首先感谢在B站,和我的博客,为我充电的同学!

非常非常感谢你们支持我的创作!

联系我不要发私信,请发邮件并详细说明事由,谢谢!blackstonexinyu@gmail.com

这是一期将模型使用到极致的Comfyui特效教程!

上下期都学会后,可以做到这个效果

10. 补帧.gif

只需要通过输入文字提示词以及参考图,就可以在实拍的视频中添加魔幻的效果

AnimateDiff_00039.gif

AnimateDiff_00041.gif

学会这一期内容,你将可以在小区里、巷子里、走廊中、健身房,甚至自己家里,随意开启传送门,

更厉害的是它还可以将你想象的内容通过传送门来到你的面前。

cf12dfa35003a335c8b68cca6e13fc15.gif

AnimateDiff_00063.gif

vfi__00014.gif

↓↓↓ 工作流和素材文件在文章最下方 ↓↓↓

一、模型下载安装

此工作流程中使用的模型和节点

运行工作流之前,请确保下载所有必需的模型并安装自定义节点。

🟣 下载Diffusion Model

Wan2_1-T2V-14B_fp8_e5m2.safetensors [点击下载]

📁 存储路径: ComfyUI/models/diffusion_models/Wan2_1-T2V-14B_fp8_e5m2.safetensors

Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors [点击下载]

📁 存储路径: ComfyUI/models/diffusion_models/Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors

🟣 下载Lora Model

Wan21_CausVid_14B_T2V_lora_rank32_v2.safetensors [点击下载]

#### 优点:模型对参考图真实感的还原度 要远高于lightx。

#### 缺点:如果参考图是场景,非单一元素,在实拍加Ai结合时,我测试中,镜头运动幅度大时,会出现大幅度还原度效果差,不稳定。所以第一期高级教程中,我所使用的是lightx2v。

📁 存储路径: ComfyUI/models/loras/Wan21_CausVid_14B_T2V_lora_rank32_v2.safetensors

🟣 VAE Model

Wan2_1_VAE_bf16.safetensors [点击下载]

📁 存储路径: ComfyUI/models/vae/Wan2_1_VAE_bf16.safetensors

🟣 CLIP Model

umt5-xxl-enc-bf16.safetensors [点击下载]

📁 存储路径: ComfyUI/models/text_encoders/umt5-xxl-enc-bf16.safetensors

## 🧩 核心节点

### - [comfyui_sam3] 图像和视频分割

### - [comfyui-Comfyui_LG_Tools] 使用图像桥接功能

工作流

顺序依然为从左到右,一共10组内容,所有黄色节点是需要同学们注意设置参数的节点。

工作流有一定难度,需要反复多听多操作,掌握后,不会再有搞不定的工作流!

2-TLHN.png

一、模型加载

第一步中选择正确的模型后,首先将Block Swap块交换节点中的blocckstoswap参数进行调整,

  • 12G显存无脑设置为48,

  • 16G显存设置为35~40,

  • 24G显存设置为25~30,

vace_blockstoswap也一样

  • 12G和16显存无脑设置为15,

  • 24G显存设置为8~12,

这两个参数的值越大生成速度就越慢,但占用的显存会越低。

10.png

二、选择分辨率

我再这里预设了3种分辨率,如果你的显存很小,可以手动添加更小一些的分辨率

生成的视频结构只要是正确,再去平台租赁一个gpu来渲染高清视频也是很好的选择!

右边的bool开关节点,连线有些乱,因为我添加了ifelse判断,来快速切换横竖屏

选择true代表是横屏16:9,false代表着竖屏9:16。

3-gJwN.png

三、上传参考图

参考图的背景色填充色,为了让模型更专注于参考图中的内容,我将背景修改为纯白色,一般我使用灰色(#808080)。

但这个素材和灰色太接近了,需要修改一下,点击RMBG节点中的背景色,将808080修改为255255255,点击回车,在点击运行,OK背景就白色了。

背景色根据素材而定,默认使用灰色!

4-rkTU.png

四、生成遮罩

第七组内容中,有三种生成遮罩的方式。

根据不同需求场景,使用不同的方法

7.1中,使用手动绘制遮罩的方法,这个方法适合固定镜头,或者是微晃动镜头。

具体看视频教程讲解

5-IwCW.png

7.2中,上传AE生成,或者是SAM2、SAM3生成的遮罩视频,适合用于编辑视频中固定某个元素!

6-fJaS.png

五、批次处理

第八组内容是构建内补图像序列,用于wan video的control image参数。

这一组会将遮罩叠加再实拍视频上,然后通过预览节点验证是否无误。

7-IYEb.png

总结

传送门只是我偶然看到的素材,灵机一动想到的而已,这一期工作流能实现的效果远远不止于此。

同学们学会后尽量发挥自己的想象力创作出更多好玩的效果。

资源下载

如果你喜欢我的教程,还请在点赞订阅我的B站和油管频道,让我更有动力努力下去,也希望你留下宝贵建议,谢谢!

3059D7D8-vlsb.gif
Download.png

图片素材:图片素材.zip

视频素材(服务器带宽低,有点慢点击后多等待一会儿):视频素材.zip

工作流(主工作流 +SAM3):高级系列第二期工作流.zip