为你的AI电影创建可控制的角色
这里是黑石宇的频道
学习颠覆性的免费 AI 视觉特效工作流，
仅使用一张参考图像与 ComfyUI 中的 Wan 2.1. VACE，即可在任何素材中添加可控的生物和一致的角色。
视频教程链接
本篇教程使用了最前沿的AI视频技术，以及如何使用Adobe AE绘制路径轨迹 与 Comfyui进行交互。
我通过制作一部完整的短片，向同学们展示这些可以实现的效果以及实现的方法。
短片在视频教程的结尾部分。
↓↓↓ 工作流和素材文件在文章最下方 ↓↓↓
工作流
一共分为10个部分
模型下载
Wan2_1-T2V-14B_fp8_e5m2.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1-T2V-14B_fp8_e5m2.safetensors
📁 ComfyUI/models/diffusion_models
Wan21_CausVid_14B_T2V_lora_rank32_v2.safetensors:
📁 ComfyUI/models/loras
Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1-VACE_module_14B_fp8_e4m3fn.safetensors
📁 ComfyUI/models/diffusion_models
umt5-xxl-enc-bf16.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/umt5-xxl-enc-bf16.safetensors
📁 ComfyUI/models/text_encoders
Wan2_1_VAE_bf16.safetensors:
https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1_VAE_bf16.safetensors
📁 ComfyUI/models/vae
一、模型加载
您可以点击左侧的链接下载所需的模型。
此外，如果你是16或者12G以下的显存blocks_to_swap设置为40，vace_blocks_to_swap设置为15
二、选择分辨率
工作流提供三种预设分辨率设置。
默认选择576p，因为它在质量、生成时间和出色的动画效果之间取得了良好的平衡。
8G显存建议选择3，也就是504p。
三、选择绘制方式
您可以在“帧”节点中定义要生成的帧数。“跳过帧”选项允许您根据需要偏移视频。
左上角可以选择使用Inpainting方法还是Start Frame + ControlNet方法。
选择1代表使用内补方法绘制最终视频 （非特殊情况选择这个1）
选择2代表使用上传视频的起始帧 + DWpose生成最终视频 （这种方法会是视频中的角色、镜头角度或者场景发生变化）。
如果想让最终视频完全和上传的视频一样，只是添加了一些元素进去，那么选则1.
四、加载素材
没什么好说的，上传要添加到视频中的角色图像，这张图像可以是一个角色的多角度参考图。
节点会自动去除图像背景，并填充。
五、选择起始帧
在这里选择要生成的第一帧图像：
选择1，使用视频的第一帧 - 如果您的角色从物体或人物后面出现，则效果很好。
选择2，使用带有修复蒙版的第一帧 - 如果角色已在帧中可见，则为最佳选择
选择3，导入您自己的起始帧 - （如果你使用第一帧加 ControlNet工作流，您可以上传已经插入图形的准备好的帧）
如果要添加到视频中的角色一开始没有出现在镜头中，例如这个gif图像 第五帧猫咪才出现，那么选择1，否则选2。
六、绘制轨迹路径
在“手动绘制”部分，点击运行后，系统会加载视频的第一帧为画布的背景。
然后，您可以在此帧上创建样条线。基于这些样条线，系统将自动生成整个帧范围内的点数据。
在画布上点击鼠标右键可以对路径做一些操作。
如果您选择选项 2，请使用此AE导出的轨迹内容粘贴文本节点中。右边，您将找到“Create shape image on path”节点。在这里，您需要使用坐标来源项目的分辨率。出于性能考虑，我们将坐标分辨率限制为最高720p,也就是1280x720。更高的分辨率会显著增加此节点的处理时间。
如果您选择3正在使用SPLINE PATH CONTROL工具，请启用此部分并将Dreamcost网页导出的视频上传到那里。
https://whatdreamscost.github.io/Spline-Path-Control/
第七步部分-绘制遮罩
默认选择2。
选择1，代表你不用轨迹路径来创建遮罩，那么需要手动绘制遮罩，视频的每一帧遮罩都是在你绘制的位置，不会移动。
选择2，代表通过路径轨迹动画来自动创建遮罩。
扩展遮罩节点的扩展属性，默认是70，它的大小决定了你最终视频中添加的角色的大小。
九、选择控制方式
如果您的场景包含另一个人形人物，DWPose Estimator将生成额外的 Pose ControlNet。
您有三个选择：
选择1，积分
选择2，姿势
选择3，姿势 + 点
这使您可以灵活地选择如何控制运动。
十、生成视频
在最后一部分，你会发现：
左上角可暂时停用当前节点，这有助于调整早期设置
提示节点，最好使用详细且描述性的提示词来实现高质量的图形集成
视频采样器，默认设置为8 步。您可以将其降低到2 步，以便更快地进行预览和种子测试。满意后设置回8渲染最终视频。
更多的细节介绍，还请观看视频教程！
素材
如果你喜欢我的教程，还请在点赞订阅我的B站和油管频道，让我更有动力努力下去，也希望你留下宝贵建议，谢谢！
工作流+素材文件：素材+工作流.zip
