一、模型下载安装

此工作流程中使用的模型和节点

运行工作流之前,请确保下载所有必需的模型并安装自定义节点。

🟣 下载Diffusion Model

wan-14B_vace_skyreels_v3_R2V_e4m3fn_v1.safetensors [点击下载]

📁 存储路径: ComfyUI/models/diffusion_models/wan-14B_vace_skyreels_v3_R2V_e4m3fn_v1.safetensors

🟣 下载Lora Model

Wan2.1_T2V_14B_FusionX_LoRA.safetensors [点击下载]

📁 存储路径: ComfyUI/models/loras/Wan2.1_T2V_14B_FusionX_LoRA.safetensors

Lenovo.safetensors [点击下载]

📁 存储路径: ComfyUI/models/loras/Wan2.1_T2V_14B_FusionX_LoRA.safetensors

🟣 VAE Model

wan_2.1_vae.safetensors [点击下载]

📁 存储路径: ComfyUI/models/vae/wan_2.1_vae.safetensors

🟣 CLIP Model

umt5_xxl_fp8_e4m3fn_scaled.safetensors [点击下载]

📁 存储路径: ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors

🧩 核心节点

### - [Yedp-Action-Director] 3D模型节点

### - [RES4LYF] 可增强图像修复和潜在图像采样指导功能的采样器。

二、3D模型下载安装

🧩 3D 模型动作下载(这个对应Yedp节点的角色模型,但角色可以随便选,重要的是动作)

[mixamo 模型动作下载] (https://www.mixamo.com/#/)

🧩 环境模型下载 (用于Yedp节点的环境模型)

https://free3d.com/zh/

https://sketchfab.com/feed

三、工作流

顺序依然为从左到右,一共8组内容。

本期工作流程难度适中!Yedp节点操作复杂,需要同学多操作练习!

高级4-1.png

四、Yedp3D节点

它目前无法通过manager安装,需要我们来到它的git主页[Yedp-Action-Director]。

  1. 下载解压后,修改文件夹命名,将最后的-main删除。

  2. 然后将文件夹移动到Comfyui根目录custom_nodes自定义节点目录下。

接下来进入Comfyui根目录input目录下,我们需要为3d节点创建创建三个文件夹

  • yedp_anims、yedp_envs、yedp_mocap,他们分别是存储角色模型、环境模型、以及面部表情。

创建完成将我们在mixamo下载的模型移动到yedp_anims目录下,然后重启comfyui!

高级4-2.png

输出的控制信息分别:

  • openpose:控制角色动作

  • depth:控制空间关系,越白代表越近,越黑代表越远。

  • CANNY:控制轮廓和内部细节

  • normal:法线贴图。

  • shaded:阴影,方便查看光照效果。

  • alpha:用于控制主体与环境分离。

节点主功能包括:

节点包含灯光、摄像机、角色、面部捕捉、环境模型。

每一个功能都十分强度,不方便描述,大家在视频中学习观看!

五、创建内补

根据3D节点输出的视觉图像序列,叠加到实拍视频中,获取内补区域,并且可以直观看出3D模型的在实拍中的位置是否合适,方便调整。

高级4-4.png

如果有景别的需求,那么上传SAM3生成的通道视频来重置遮挡关系。

高级4-5.png

六、生成遮罩视图

这是本期工作流里非常关键的一部分,主要是用来确定:哪些区域需要重绘

这一组一共分成三种方式,你可以根据不同场景来选择

  1. 使用3d节点输出的alpha通道作为重绘区域,这种方式适用于比较简单的情况。比如:画面中没有复杂遮挡或者角色只是单纯叠加,这种情况下,直接用alpha就够了。

  2. 在使用alpha的基础上同时“重置遮挡关系”,这一部分和我们上一组内容是对应的。你只需要上传同样的遮挡透明通道视频,就可以让AI重新理解前后关系

  3. 在alpha的基础上再额外添加一个“自定义区域”

高级4-6.png

这一组的本质是:你要告诉AI“哪里需要重新画”

最后根据你的使用场景,选择对应的一种方式,然后在右侧的切换节点中

总结

这一期的重点其实不是某一个节点。

而是一个思路:用3D确定现实中的空间关系,通过控制信息,让3d与真实环境产生超级逼真的融合。

如果你在操作过程中遇到问题,可以截图发给我最好是发邮件!我每隔一段时间会统一回复大家的问题!

我会尽量帮大家解答,如果你觉得这一期对你有帮助,也可以支持一下我继续更新。

资源下载

如果你喜欢我的教程,还请在点赞订阅我的B站和油管频道,让我更有动力努力下去,也希望你留下宝贵建议,谢谢!

3059D7D8-vlsb.gif
Download.png

工作流:

服务器带宽低,访问人数多的时候吗有点慢,点击后多等待一会儿。