字节跳动OmniHuman模型已经在即梦上线内测
字节跳动上线的OmniHuman模型已经在即梦AI上线内测,该模型采用全新的多模态视频生成技术,用户只需输入一张图片和一段音频,就可以生成非常逼真真人视频动画,涵盖从面部表情到全身动作,无论是说话、唱歌、跳舞等。
OmniHuman模型的主要功能:
视频生成:能够将输入的单张照片转化为逼真的全身动态视频,叶可让数字人表现出讲话、唱歌等多种自然动作。
多模态输入:同时支持肖像、半身及全身等不同尺寸的图片输入,结合音频内容,数据训练效果良好,能够生成高质量的动画视频。
OmniHuman模型不仅支持肖像和全身视频生成,还对不同类型的图片,如动漫和3D卡通等非真人图片输入,表现令人满意。即梦ai相关负责人表示,尽管OmniHuman已经表现出良好的效果,但在生成影视真实级别的视频方面仍有提升空间。OmniHuman也将将逐步开放使用,现在进行小范围内测,并设置严格的安全审核机制。
OmniHuman在哪里?
登录即梦AI,左侧栏选择视频生成。
我正在申请内测中...但用用户说是对口型,效果不是很好,但有些说很赞。