AI视频进入有声时代,谷歌V2A技术:视频秒懂,音乐自配,颠覆视频制作流程

现在的AI视频圈那叫一个卷啊,各种黑科技层出不穷。这Runway的Gen-3 Alpha视频工具刚发布出来

这Google直接给整出来一个V2A技术,直接就把我给惊到了。

这玩意儿有点东西啊,人家不光看得懂视频里的画面,还能自动给视频配上合适的音乐,这AI的理解能力也太强了吧。
这不是隔壁IIElevenLabs的技术嘛?!
不过无所谓啦,咱普通人就看这些大厂卷技术吧,咱自己会用这些功能就行~
那咱看下Google放出来的V2A Demo吧:
Prompt for audio: Cinematic, thriller, horror film, music, tension, ambience, footsteps on concrete(提示词:电影,惊悚片,恐怖片,音乐,紧张,氛围,混凝土上的脚步声)
Prompt for audio: Cute baby dinosaur chirps, jungle ambience, egg cracking(提示词:音频提示:可爱的恐龙宝宝鸣叫,丛林氛围,鸡蛋破裂)
Prompt for audio: A drummer on a stage at a concert surrounded by flashing lights and a cheering crowd(提示词:音乐会舞台上的鼓手,周围是闪烁的灯光和欢呼的人群。)

Prompt for audio: Jellyfish pulsating under water, marine life, ocean(提示词:水母在水下脉动,海洋生物,海洋)
Prompt for audio: A spaceship hurtles through the vastness of space, stars streaking past it, high speed, Sci-fi(提示词:一艘宇宙飞船在浩瀚的太空中飞驰,星星从它身边划过,高速,科幻)
真是把我惊得裤子都差点儿掉了。
这一段弹吉他的视频,配乐居然也是AI自动合成的,那吉他声悠扬动听,我要不是提前知道,还以为是真人现场演奏的呢。
最离谱的是,V2A生成这些配乐的时候,根本就没让人输入什么文字提示,纯粹就是分析视频画面自己合成的。这AI也太智能了,真是啥都能看懂了吗?
现在,这个V2A还没正式开源,但从放出来的Demo来看,这玩意儿要是哪天真开源了,保准又能在AI视频圈掀起一阵狂欢。
说不了以后的真的会开创出一条新的影视类型,重塑整个影视制作流程啊。
官网地址:
https://deepmind.google/discover/blog/generating-audio-for-video/

相关推荐