LongCat-Video-Avatar

LongCat-Video-Avatar

美团开源的音频驱动数字人视频模型 长片十分钟以上不崩

AI官网

应用介绍

用 AI 数字人做口播,最怕两件事:嘴型对不上音频、动作像是用力在念稿,还有片子一长,脸就慢慢变成另一个人。

LongCat-Video-Avatar 是美团 LongCat 团队开源的音频驱动数字人视频生成模型,建立在 LongCat-Video 基础模型之上。给一段音频,再配上文本描述或一张人物图片,就能生成人物开口说话的视频,单人、多人对话都支持,还能接着已有视频往下续写。

1.6 版改了什么

口型更自然:减少了嘴部夸张用力、嘴唇颜色过红和嘴部区域闪烁的问题。
动作更协调:脸部、头部和身体的动作配合得更好。
长片更稳:自回归续写时累积的误差更少,官方称能生成 10 分钟以上的视频,画质和人物身份保持一致。
推理更快:整条生成流程和模型执行都做了优化,部署起来更省资源。

官方做了一轮人工偏好测评,拿 1.6 和 1.5 以及 OmniHuman-2.0、HeyGen、OmniHuman-1.5、Kling Avatar 2.0 两两对比,共 33051 张有效投票,1.6 的 Elo 分是 1068.1,排在 OmniHuman-2.0 之后、六个系统中第二。

怎么跑起来

代码在 LongCat-Video 的 GitHub 仓库里,需要 Python 3.10、PyTorch 和 FlashAttention,再从 Hugging Face 下载 LongCat-Video 和 LongCat-Video-Avatar-1.6 两份权重。权重包里带了一个可选的 INT8 版本,也支持 FP8,两种量化一次只能开一种。显卡不够大的话,社区在 ComfyUI 里也有方案:Kijai 的 WanVideoWrapper 已经支持 1.5 版,并有 fp8 和 GGUF 量化权重。

模型以 MIT 协议开源,适合做口播、虚拟主播、课程讲解之类需要长时间出镜的视频。