喽小伙伴们,这里是AI吧的朴老师!在音视频生成技术井喷式发展的今天,字节跳动开源的LatentSync凭借其端到端唇形同步能力引发热议。相信不少小伙伴都好奇:LatentSync究竟可以生成多长的视频?生成时长受哪些因素影响?今天我们就从技术原理到实测数据,全方位解析这个AI黑科技的时长边界与应用技巧!
首先我们需要了解的是决定生成数字人视频时长的因素是什么:
众所周知,运行ai的过程中需要大量的算力,算力不足会出现爆显存的现象,LatentSync也是如此,当算力不足时,一次性能生成的视频长度就会过短,当算力充足时,即便你生成十几个小时的视频都没有问题,因此我们可以得知,理论上来说可以生成的视频时长是没有限制的,但是前提是你有庞大的算力支持。(显卡算力越强,支持的一次性生成的时长越长)
除此之外,上传的视频素材长短也会影响到你的最后时长,LatentSync没有自动补帧的功能,当我们上传的视频素材时长低于音频时长的时候,超出部分将无法自动补充生成,此时最长时长是由你上传的视频素材时长决定的,最终长度如下:
视频长度>音频长度=音频长度
视频长度<音频长度=视频长度
想要长视频生成,可以使用分段生成后再剪辑合成的方式。
需要注意的是,由于LatentSync是图像生成类型的ai软件,生成的速度是比较慢的,在未出现报错、显卡gpu一直在满载的情况下,速度慢属于正常现象,显卡算力不同所需的时间也有所差异,本人用的3060 12G显卡,生成10秒视频所需时间在2-6分钟左右,大家可以以此做个基础参考。
通过对LatentSync视频生成时长的深度剖析,相信大家已经了解其决定因素已经如何生成长视频了吧,关注AI吧,手把手教你突破多语种适配难题。