近期,Stability 发布了 stable video diffusion 1.1版本:stabilityai/stable-video-diffusion-img2vid-xt-1-1 · Hugging Face。目前,该模型还处于内部测试阶段。从网友发布的测试画面可以看出,SVD 1.1模型可以生成更稳定、高画质的视频。
SVD 1.1新增了镜头移动模式,可以设置画面的移动方向,操作界面类似Runway Gen2。作为一个开源工具,SVD 1.1的发布将会进一步提升短视频生成的质量。
然后我在为大家分享一下近期发布的AI工具:
Animate LCM:AnimateLCM
Animate LCM随着LCM模型的发布,图像的推理过程和生成速度都得到了大幅提升。目前,基于LCM的实时绘图工具,已经可以实现毫秒级的延迟。AnimateLCM结合了LCM以及图像转视频模型,可以进一步减少视频的推理部署,提高视频的生成速度。使用A100图像处理器,可以在4秒钟内生成512分辨率的短视频,速度非常惊人。
目前,AnimateLCM已经可以在replicate运行。输入一段提示词,只需7秒钟的时间,即可生成一段512分辨率的短视频。用户可以在此地址:camenduru/animate-lcm – Run with an API on Replicate尝试生成。
Motion i2v:Motion-I2V (xiaoyushi97.github.io)
该模型类似runway的motion brush功能,可以通过一张参考图,控制生成视频的方向。在和主流图像转视频工具的对比中,Motion i2v可以生成更大运动幅度的视频。在画面稳定性方面,则不如runway。该工具仅通过一张图像,就可以推测物体的运动轨迹,生成一致性的短视频。
Motion brush功能可以使用笔刷遮罩,需要移动的区域,实现局部视频动态化。此外,该工具还集成了类似dragGAN的功能,设定好运动轨迹,即可控制图像中物体的移动方向。把motion和drag功能结合,还可以实现复杂的动作组合,这也是Motion i2v独有的功能。
使用Motion i2v还可以实现视频转视频功能。
Bard更新日志泄露
近期,一张关于Bard更新截图提前泄露,引发了网友的热议。二月七日更新后,Bard将会正式更名为Gemini。Google旗下最强的Gemini Ultra模型也会面向高级用户开放。此外,Gemini的移动端程序也会发布。在之前的多项基准测试中,Gemini Ultra模型已经超越了GPT4,具备更强的推理和数学能力。
Akuma更新:Akuma – Realtime AI Anime Art Generator for Free
领取专属 10元无门槛券
私享最新 技术干货