DeepMind在其官方博客上写道:”视频生成模型正以惊人的速度发展,但目前的许多系统只能生成无声输出。V2A技术‘可能’成为让生成的电影栩栩如生的一种有前途的方法”。

近日,Google的人工智能(AI)研究实验室DeepMind表示,它正在开发为视频生成配乐的人工智能技术——V2A技术(”视频到音频”的缩写)。这项技术被视为人工智能在媒体创作领域的重要进展,旨在解决现有AI模型无法同时生成音效的问题。

据悉,V2A技术的独特之处在于其能够自动匹配音频和视频场景,填补了当前AI生成媒体中同步视听生成的空白。此外,该技术还通过训练系统在大量视频、音频和AI生成注释的基础上学习如何将特定的声音与视频内容关联起来。

V2A技术与视频生成模型如Veo集成,可以大幅提升创意制作能力,实现对话、音效和音乐与视频的无缝匹配。这意味着创作者可以更加专注于内容创作本身,而不是花费大量时间在音频编辑上。此外,这项技术解决了AI视频生成中缺乏同步音频的问题,推动了视频内容创作的新可能性。

V2A技术能够创造出具有戏剧性配乐、逼真音效或与视频角色以及风格相匹配的对话镜头。这种无缝匹配的音频和视频结合能够显著提升观众的观看体验,使视频内容更加生动和引人入胜。

尽管V2A技术带来了许多积极影响,但也存在一些局限性。此外,语音同步也存在待改进之处。DeepMind正在努力解决这些问题,并与顶级创作者合作改进技术。

为了确保V2A技术对创意社区产生积极影响,DeepMind正在收集来自顶尖创作者和电影制作人的多元视角和见解,并利用这些宝贵的反馈进行改进。这种开放的态度有助于不断优化技术,使其更好地服务于创作者和观众。

V2A技术被认为是一个充满希望的未来发展方向,即无声视频可以通过声音赋予生命,这对科技爱好者和音视频行业的专业人士来说是一个重要的突破。随着技术的不断进步和完善,其对创作者和观众的实际影响将会越来越显著。

DeepMind 在其官方博客上发表文章称,V2A技术是人工智能生成媒体拼图中必不可少的一部分。虽然包括 DeepMind在内的许多机构已经开发出了视频生成人工智能模型,但这些模型无法在生成视频时同步生成音效。

DeepMind写道:”视频生成模型正以惊人的速度发展,但目前的许多系统只能生成无声输出。V2A技术‘可能’成为让生成的电影栩栩如生的一种有前途的方法”。“通过对视频、音频和附加注释进行训练,我们的技术学会了将特定音频事件与各种视觉场景联系起来,同时对注释或文本中提供的信息做出响应。”

责编:Jimmy.zhang
阅读全文,请先
您可能感兴趣
我们知道生成式AI正逐渐走向边缘,不单是AI PC、AI手机,更多端侧设备也准备要跑大模型——这中间似乎还缺点儿什么......
尽管汽车行业为创建和部署广泛的解决方案付出了很多努力,但汽车网络安全仍将是最困难的问题。新型网络安全攻击似乎会攻击新型软件定义汽车和扩展通信技术中暴露出的新漏洞。这就需要不断改进网络安全技术、产品和服务。
2023年中国全部工业增加值约40万亿元,而当前多模态大模型在应用中部署仅占了8%,未来存在巨大的上升空间。因此,对中国而言,AI大模型对中国未来制造业发展的影响是深远且积极的,不仅将夯实中国制造业竞争力,而且还将为制造业的未来发展提供新的动力和方向。
白皮书显示,截至2024年第一季度,全球AI企业近3万家,美国占全球的34%,中国占全球的15%。2023年到今年第一季度,全球AI独角兽企业234家,增加了37家,占新增独角兽企业总量的40%。目前,美国的AI企业独角兽共有120家,中国有AI独角兽企业71家。
由于中国AI芯片供给不足,中国科技企业不得不接受定制缩水版的H20芯片。据摩根士丹利的最新报告,英伟达特供中国市场的人工智能芯片H20系列,已经开始吸引包括百度、阿里巴巴、腾讯和字节跳动在内的中国科技巨头的采购兴趣。
在意识到周边邻国似有赶超之势时,以及基于数据中心在数字经济发展中的作用,新加坡又有新的焦虑,意识到必须加快步伐以保持其在全球数字经济中的竞争力。5月30日,新加坡宣布推出绿色数据中心路线图,将在短期为数据中心额外提供至少300兆瓦电力,其中更多电力将来自“绿色能源部署”。
为了不断追求更好的视觉效果,显示技术行业在增强对比度、亮度和能效方面都面临着挑战。其中一个重要障碍是实现有效的"局部调光",即屏幕特定区域可独立变暗或变亮的技术。
AONZ66412 XSPairFET™ 占地面积紧凑,可简化 PCB板内设计,有助于提高功率密度,同时满足高效Type C应用性能需求。
市场大量需要能够快速、省电地提供定位详细信息的物联网设备,全球价值达到9万亿美元的物流和运输行业领域更是如此[1]。在电子商务蓬勃发展和消费者网购偏好转变的推动下,物流企业正在运送数量惊人的包裹。最大型电子商务公司亚马逊在2022年处理了47.9亿份美国快递订单,相当于每天处理1313万份订单[2]。
IAR与芯驰科技宣布进一步扩大合作,最新版IAR Embedded Workbench for Arm已全面支持芯驰科技的E3119/E3118车规级MCU产品。
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,7月10日,中汽协发布数据显示。6月,乘用车国内销量181.2万辆,环比增长8%,同比下降7.4%;乘用车出口40.3万辆,环比增长1.4%
特斯拉汽车于当地时间周三表示,在欧盟对中国制造的电动汽车加征关税后,公司已将其 Model 3 汽车在法国、德国、意大利、希腊、波兰、西班牙、瑞典等欧盟国家的售价提高了约 1500 欧元(当前约 11
点击上面↑“电动知家”关注,记得加☆“星标”!电动知家消息,7月10日,据 AutoCar 报道,由于订单减少,奥迪旗下中大型纯电 SUV Q8 E-tron 将遭到提前停产的命运。该车作为奥迪纯电
7月9日消息,据媒体报道,台积电将于下周开始试生产其2nm工艺芯片,早于市场预计的第四季度。众所周知,苹果是台积电的主要客户,苹果将率先使用该先进工艺,这意味着2025年的苹果A19芯片将进入2nm时
7 月 2 日,上海汽车集团股份有限公司召开干部大会,上海市委组织部宣布了市委关于上汽集团主要领导调整的有关决定,并要求按照相关法律规定办理手续。7月10日,上海汽车集团股份有限公司召开第八届董事会第
全球领先的连接和电源解决方案供应商 Qorvo® 携“消费电子、物联网和汽车”三大主题,于 7月 8 日参加 2024 慕尼黑上海电子展,通过一系列前沿技术和解决方案,在呈现多元化创
亚化咨询重磅推出《中国半导体材料、晶圆厂、封测项目及设备中标、进口数据全家桶》。本数据库月度更新,以EXCEL表格的形式每月发送到客户指定邮箱。中国大陆半导体大硅片项目表(月度更新)中国大陆再生晶圆项
7月10日消息,据韩媒报道,三星电子全国工会正式宣告了一项震撼性的决定:启动无限期罢工行动!工会最新声明表示,“我们已经明确确定中断生产线,三星公司将对这一决定感到遗憾,我们认为管理层最终会让步,坐上
近两年在多端互通趋势和高品质新作的共同推动下,端游市场逆势回升,成为行业新的增长极。伽马数据《客户端游戏市场营销发展报告》显示,端游市场收入已连续三年实现同比增长,在2023年创下662.83亿元的历
7 月 8 日,济南市工业和信息化局发布《关于拟开放智能网联汽车测试道路的公示》,由济南公交集团、文远知行联合申请开放部分城区道路作为智能网联汽车测试道路。此外,青岛市工业和信息化局也发布了《关于公布