Meta 推出 Emu Video 和 Emu Edit：文本转视频生成和精确图像编辑方面的开创性进展

在快速发展的生成人工智能领域，实现高效、高质量的视频生成模型以及对精确和多功能图像编辑工具的需求仍然存在挑战。 传统方法通常涉及复杂的模型级联，或者需要过度修改的帮助，从而限制了其功效。 Meta AI 研究人员通过引入 t 来正面应对这些挑战突破性进展: 鸸鹋视频 和 鸸鹋 编辑。

当前的文本到视频生成方法通常需要深度级联的模型，需要大量的计算资源。 Emu Video 是基本 Emu 模型的扩展，引入了分解方法来简化流程。 它涉及根据文本提示生成图像，然后根据文本和生成的图像生成视频。 这种方法非常简单，只需要两个扩散模型，为高质量视频生成树立了新标准，优于以前的工作。

同时，必须改进传统的图像编辑工具，以便为用户提供精确的控制。

鸸鹋编辑， 是一种多任务图像编辑模型，重新定义了基于指令的图像处理。 利用多任务学习，Emu Edit 可以处理各种图像编辑任务，包括基于区域和自由格式的编辑，以及检测和分割等关键的计算机视觉任务。

鸸鹋视频分解的方法简化了训练并产生了令人印象深刻的结果。 仅使用两个扩散模型以每秒 16 帧的速度生成 512×512 的四秒视频代表了重大飞跃。 与之前的作品相比，人类评价始终青睐 Emu Video，突显其在视频质量和对文本提示的忠实度方面的卓越表现。 此外，该模型的多功能性还扩展到对用户提供的图像进行动画处理，从而在该领域树立了新标准。

Emu Edit 的架构专为多任务学习而定制，展示了跨各种图像编辑任务的适应性。 学习任务嵌入的结合确保了执行编辑指令时的精确控制。 少样本适应实验揭示了 Emu Edit 对新任务的快速适应能力，使其在标记示例或计算资源有限的场景中具有优势。 与 Emu Edit 一起发布的基准数据集可以进行严格的评估，将其定位为在指令忠实度和图像质量方面表现出色的模型。

总之，Emu Video 和 Emu Edit 代表了生成式 AI 的变革性飞跃。 这些创新解决了文本到视频生成和基于指令的图像编辑方面的挑战，提供简化的流程、卓越的质量和前所未有的适应性。 从创建引人入胜的视频到实现精确的图像处理，潜在的应用强调了这些进步可能对创意表达产生的深远影响。 无论是对用户提供的图像进行动画处理还是执行复杂的图像编辑，Emu Video 和 Emu Edit 都为用户提供了令人兴奋的可能性，让他们能够通过新发现的控制力和创造力来表达自己。

EMU 视频论文：https://emu-video.metademolab.com/assets/emu_video.pdf

EMU 编辑论文：https://emu-edit.metademolab.com/assets/emu_edit.pdf

Madhur Garg 是 MarktechPost 的咨询实习生。 他目前正在巴特那印度理工学院 (IIT) 攻读土木与环境工程学士学位。 他对机器学习充满热情，并喜欢探索技术的最新进展及其实际应用。 凭借对人工智能及其多样化应用的浓厚兴趣，Madhur 决心为数据科学领域做出贡献，并利用其对各个行业的潜在影响。