应用介绍
#4D数字人 #动态3D数字人 #AI数字人 #多视角生成 #3D人体模型 #AIGC #开源项目 #GitHub
4DAnyone 是一个面向动态 3D 数字人生成的开源项目,可以把人物视频进一步转换成能够从不同角度观看的 4D 人体模型。对内容创作者来说,这意味着原本只包含固定机位的一段人物素材,有机会变成可以多视角使用的动态 3D 资产,在虚拟人、数字内容制作以及角色重建等场景里都很有想象空间。
软件功能
动态 3D 数字人生成:4DAnyone 可以根据人物视频生成具有动态表现的 4D 人体模型,生成结果不仅能动,还尽量保留原人物的身份特征。
多视角观看:生成后的数字人不再局限于原视频中的单一拍摄角度,可以从多个视角观察人物,相当于把普通视频素材进一步扩展成可重复利用的三维动态资产。
RCP 参考压缩机制:多视角视频生成通常需要大量参考信息,但参考内容不断增加会带来很高的显存压力。RCP 会将原本随生成过程线性增长的参考信息压缩到固定预算,可以理解成用“摘要”替代完整历史内容,从而降低显存占用。
TCR 跨批次一致性:受到算力和显存限制,多视角内容往往需要分批生成,而不同批次之间很容易出现人物结构漂移。TCR 会在不同生成批次之间传递结构信息,让后续批次能够参考前面的角色状态,减少同一个人在不同视角里出现脸型、身体结构不一致的问题。
保持人物身份一致:从项目展示效果来看,4DAnyone 比较强调不同视角下的人物一致性,目标是做到人物能动、身份能识别、不同角度结构尽量统一,这也是动态数字人生成里非常关键的一点。
支持跨角色迁移:除了针对单个人物进行重建之外,它还具备一定的跨角色迁移能力,可以把相关动态与结构生成能力应用到不同人物角色上,适合继续研究数字人、虚拟角色和 4D 人体生成工作流。
简单来说,4DAnyone 解决的不只是“把人变成 3D”,而是尝试让同一个人在不同生成批次、不同观看角度下依然保持像同一个人,这对于真正可用的动态数字人资产非常重要。