Adobe 也在致力于生成视频

Adobe 表示，它正在构建一个人工智能模型来生成视频。 但除了它存在的事实之外，它并没有透露该型号的具体发布时间，也没有透露更多信息。

作为对 OpenAI 的 Sora、谷歌的 Imagen 2 以及新兴生成 AI 视频领域越来越多初创公司的模型的某种回应，Adobe 的模型（该公司不断扩大的生成 AI 产品 Firefly 系列的一部分）将进入Adobe 表示，Adobe 的旗舰视频编辑套件 Premiere Pro 将于今年晚些时候推出。

与当今许多生成式 AI 视频工具一样，Adobe 的模型从头开始创建素材（提示图像或参考图像），并且它支持 Premiere Pro 中的三个新功能：对象添加、对象删除和生成扩展。

它们非常不言自明。

对象添加功能允许用户选择视频剪辑的一个片段（例如上三分之一或左下角），然后输入提示以在该片段中插入对象。 在 > 的简报中，Adobe 发言人展示了现实世界公文包的剧照，里面装满了由 Adob​​e 模型生成的钻石。

对象删除从剪辑中删除对象，例如吊杆麦克风或 镜头背景中的咖啡杯。

用人工智能移除物体。 请注意，结果并不十分完美。 图片来源： 土坯

至于生成扩展，它会在剪辑的开头或结尾添加几帧（不幸的是，Adobe 不会透露有多少帧）。 生成扩展并不意味着创建整个场景，而是添加缓冲帧以与配乐同步或保留镜头以获得额外的节拍 – 例如增加情感分量。

图片来源： 土坯

为了解决围绕此类生成人工智能工具不可避免地出现的深度伪造的担忧，Adobe 表示，它将在 Premiere 中引入内容凭证（用于识别人工智能生成媒体的元数据）。 内容凭证是 Adob​​e 通过其内容真实性计划支持的一种媒体来源标准，它已经存在于 Photoshop 中，并且是 Adob​​e 图像生成 Firefly 模型的一个组件。 在 Premiere 中，它们不仅会指示哪些内容是 AI 生成的，还会指示使用哪个 AI 模型来生成它。

我询问 Adob​​e 使用哪些数据（图像、视频等）来训练模型。 该公司没有透露，也不会透露如何（或是否）补偿数据集的贡献者。

上周，彭博社援引知情人士的话称， 报道 Adobe 向在其股票媒体平台 Adob​​e Stock 上提交短视频剪辑以训练其视频生成模型的摄影师和艺术家支付高达 120 美元的费用。 据称，根据提交的视频内容，报酬从每分钟 2.62 美元到每分钟 7.25 美元不等，视频质量越高，收费相应越高。

这将背离 Adob​​e 目前与 Adob​​e Stock 艺术家和摄影师的安排，Adobe 使用这些艺术家和摄影师的作品来训练其图像生成模型。 该公司向这些贡献者支付年度奖金，而不是一次性费用，具体取决于他们在 Stock 中拥有的内容量以及内容的使用方式——尽管奖金受到不透明的公式的约束，并且不能保证每年都能获得。

彭博社的报道如果准确的话，描述的方法与 OpenAI 等生成式 AI 视频竞争对手的方法形成鲜明对比。 说 抓取公开的网络数据（包括来自 YouTube 的视频）来训练其模型。 YouTube 首席执行官尼尔·莫汉 (Neal Mohan) 最近表示，使用 YouTube 视频来训练 OpenAI 的文本到视频生成器将违反该平台的服务条款，这突显了 OpenAI 和其他公司的合理使用论点在法律上的脆弱性。

包括 OpenAI 在内的公司 存在 被起诉的指控是，他们在没有向所有者提供信用或付款的情况下对受版权保护的内容进行人工智能训练，从而违反了知识产权法。 Adobe 似乎有意避免这种结局，就像它有时的生成式人工智能竞争对手 Shutterstock 和 Getty Images（它们也安排了模型训练数据的许可）一样，并且通过其知识产权赔偿政策将自己定位为可验证的“安全”选择企业客户。

关于付费问题，Adobe 并未透露客户使用 Premiere 中即将推出的视频生成功能需要花费多少费用； 据推测，定价仍在讨论中。 但公司 做过 透露支付方案将遵循早期 Firefly 模型建立的生成积分系统。

对于付费订阅 Adob​​e Creative Cloud 的客户，生成积分从每月开始更新，根据计划的不同，每月分配的额度从 25 到 1,000 不等。 一般来说，更复杂的工作负载（例如更高分辨率的生成图像或多图像生成）需要更多积分。

我心中的一个大问题是，Adobe 的人工智能视频功能是否会成为现实？ 值得 无论他们最终付出什么代价？

到目前为止，Firefly 图像生成模型已经 广泛 嘲笑 与 Midjourney、OpenAI 的 DALL-E 3 和其他竞争工具相比，它表现平平且存在缺陷。 视频模型缺乏发布时间并不能让人相信它会避免同样的命运。 事实上，Adobe 拒绝向我展示对象添加、对象删除和生成扩展的现场演示，而是坚持使用预先录制的嘶嘶声卷轴。

也许是为了对冲自己的赌注，Adobe 表示，它正在与第三方供应商就将其视频生成模型集成到 Premiere 中进行谈判，以支持生成扩展等工具。

OpenAI 就是这些供应商之一。

Adobe 表示，它正在与 OpenAI 合作，研究如何将 Sora 引入 Premiere 工作流程。 （鉴于人工智能初创公司的 最近向好莱坞示好; 值得注意的是，OpenAI 首席技术官 Mira Murati 将参加今年的戛纳电影节。）其他早期合作伙伴包括 Pika（一家构建 AI 工具来生成和编辑视频的初创公司）和 Runway（这是市场上最早推出生成视频模型的供应商之一） 。

Adobe 发言人表示，该公司未来愿意与其他公司合作。

现在，明确地说，这些集成目前更多的是一个思想实验，而不是一个工作产品。 Adobe 反复向我强调，它们正处于“早期预览”和“研究”阶段，而不是客户可以期望很快就能使用的产品。

我想说，这体现了 Adob​​e 生成视频新闻的整体基调。

Adobe 显然试图通过这些公告表明它正在考虑生成视频，即使只是在初步意义上。 如果不这样做，那就太愚蠢了——假设经济最终对 Adob​​e 有利，那么在生成式 AI 竞赛中措手不及就可能会失去宝贵的潜在新收入来源。 （毕竟，人工智能模型的训练、运行和服务成本很高。）

但坦率地说，它所展示的概念——并不是非常引人注目。 随着 Sora 的投入使用，并且肯定会有更多创新不断涌现，该公司还有很多东西需要证明。