AIGC时代一直被与midjourney为代表的文生图所霸占,特别是的发布,让大家重新认识到了AI的力量,关于其相关的内容,前期也介绍过这方面的文章。但是AI时代一直被静态的图片或者文字霸占,是否可以进军视频领域,一直是各大模型竞争的热点,本期我们就介绍一下阿里巴巴发布的AnimateAnyone算法,可以利用一张图片与一个动态模板视频,生产对应的图片视频。
AnimateAnyone算法仅仅要求用户输入一张图片以及一段模板视频,通过AnimateAnyone算法就可以让图片的人物动起来,其动作完全模仿了模板视频的动作。
模型训练输入人体姿态的相关坐标点以及参考图片,通过模型的训练,让图片根据人体坐标点生成一系列的图片,然后把这些图片都合并到一起,便是一个完整的视频了。
在用户使用时,模型根据用户提供的模板视频,提取其人体姿态坐标点,再根据用户提供的图片,合成对应视频模板的图片视频。
当然官方现在还没有开源相关的代码,只是发布了文章,若想体验的话,可以下载通义千问app来体验。体验下来的感受是AI现在太强大了,但是其平台刚刚发布不久,其模版很少,且输入的图片必须是全身照片。但是相信随着大家的试用,里面的模板会越来越多。大家也可以共享自己制作的视频,当作别人的视频模板。
当然后期模型更新,不用输入全身照片,其效果便是更好了,还有一点是,其人物表情很僵硬,这里需要更多的完善。
模型不仅支持人物照片,还支持动漫,塑像,卡通等等,本想着过年自己可以跳一段科目三,当大家开心一下,这下可好,全民可以跳科目三了。
当然模型可以直接合成视频中的音频,自己无需再进行2次剪辑,小编把视频都转成了GIF图片,喜欢的小伙伴可以自行尝试,待代码开源,我们再介绍相关的代码实现。
视频加载中...https://arxiv.org/pdf/2311.17117.pdfhttps://github.com/HumanAIGC/AnimateAnyone