我把3D角色“放进现实”,还能控制它的动作和位置【Comfyui高级第四期】
一、模型下载安装
此工作流程中使用的模型和节点
运行工作流之前,请确保下载所有必需的模型并安装自定义节点。
🟣 下载Diffusion Model
wan-14B_vace_skyreels_v3_R2V_e4m3fn_v1.safetensors [点击下载]
📁 存储路径: ComfyUI/models/diffusion_models/wan-14B_vace_skyreels_v3_R2V_e4m3fn_v1.safetensors
🟣 下载Lora Model
Wan2.1_T2V_14B_FusionX_LoRA.safetensors [点击下载]
📁 存储路径: ComfyUI/models/loras/Wan2.1_T2V_14B_FusionX_LoRA.safetensors
Lenovo.safetensors [点击下载]
📁 存储路径: ComfyUI/models/loras/Wan2.1_T2V_14B_FusionX_LoRA.safetensors
🟣 VAE Model
wan_2.1_vae.safetensors [点击下载]
📁 存储路径: ComfyUI/models/vae/wan_2.1_vae.safetensors
🟣 CLIP Model
umt5_xxl_fp8_e4m3fn_scaled.safetensors [点击下载]
📁 存储路径: ComfyUI/models/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors
🧩 核心节点
### - [Yedp-Action-Director] 3D模型节点
### - [RES4LYF] 可增强图像修复和潜在图像采样指导功能的采样器。
二、3D模型下载安装
🧩 3D 模型动作下载(这个对应Yedp节点的角色模型,但角色可以随便选,重要的是动作)
[mixamo 模型动作下载] (https://www.mixamo.com/#/)
🧩 环境模型下载 (用于Yedp节点的环境模型)
三、工作流
顺序依然为从左到右,一共8组内容。
本期工作流程难度适中!Yedp节点操作复杂,需要同学多操作练习!

四、Yedp3D节点
它目前无法通过manager安装,需要我们来到它的git主页[Yedp-Action-Director]。
下载解压后,修改文件夹命名,将最后的-main删除。
然后将文件夹移动到Comfyui根目录custom_nodes自定义节点目录下。
接下来进入Comfyui根目录input目录下,我们需要为3d节点创建创建三个文件夹
yedp_anims、yedp_envs、yedp_mocap,他们分别是存储角色模型、环境模型、以及面部表情。
创建完成将我们在mixamo下载的模型移动到yedp_anims目录下,然后重启comfyui!

输出的控制信息分别:
openpose:控制角色动作
depth:控制空间关系,越白代表越近,越黑代表越远。
CANNY:控制轮廓和内部细节
normal:法线贴图。
shaded:阴影,方便查看光照效果。
alpha:用于控制主体与环境分离。
节点主功能包括:
节点包含灯光、摄像机、角色、面部捕捉、环境模型。
每一个功能都十分强度,不方便描述,大家在视频中学习观看!
五、创建内补
根据3D节点输出的视觉图像序列,叠加到实拍视频中,获取内补区域,并且可以直观看出3D模型的在实拍中的位置是否合适,方便调整。

如果有景别的需求,那么上传SAM3生成的通道视频来重置遮挡关系。

六、生成遮罩视图
这是本期工作流里非常关键的一部分,主要是用来确定:哪些区域需要重绘
这一组一共分成三种方式,你可以根据不同场景来选择
使用3d节点输出的alpha通道作为重绘区域,这种方式适用于比较简单的情况。比如:画面中没有复杂遮挡或者角色只是单纯叠加,这种情况下,直接用alpha就够了。
在使用alpha的基础上同时“重置遮挡关系”,这一部分和我们上一组内容是对应的。你只需要上传同样的遮挡透明通道视频,就可以让AI重新理解前后关系
在alpha的基础上再额外添加一个“自定义区域”

这一组的本质是:你要告诉AI“哪里需要重新画”
最后根据你的使用场景,选择对应的一种方式,然后在右侧的切换节点中
总结
这一期的重点其实不是某一个节点。
而是一个思路:用3D确定现实中的空间关系,通过控制信息,让3d与真实环境产生超级逼真的融合。
如果你在操作过程中遇到问题,可以截图发给我最好是发邮件!我每隔一段时间会统一回复大家的问题!
我会尽量帮大家解答,如果你觉得这一期对你有帮助,也可以支持一下我继续更新。
资源下载
如果你喜欢我的教程,还请在点赞订阅我的B站和油管频道,让我更有动力努力下去,也希望你留下宝贵建议,谢谢!


工作流:
服务器带宽低,访问人数多的时候吗有点慢,点击后多等待一会儿。