我们介绍了 Phenaki，这是一种能够在给定一系列文本提示的情况下进行逼真的视频合成的模型。由于计算成本、高质量文本视频数据的数量有限以及视频长度可变，从文本生成视频尤其具有挑战性。为了解决这些问题，我们引入了一种用于学习视频表示的新因果模型，该模型将视频压缩为离散标记的小型表示。这个分词器及时使用因果注意力，这使得它可以处理可变长度的视频。为了从文本生成视频标记，我们使用了一个以预先计算的文本标记为条件的双向屏蔽转换器。生成的视频令牌随后被去令牌化以创建实际视频。为了解决数据问题，我们展示了对大量图像文本对以及较少数量的视频文本示例的联合训练如何产生超出视频数据集中可用内容的泛化。与之前的视频生成方法相比，Phenaki 可以在开放域中以一系列提示（即时间可变文本或故事）为条件生成任意长视频。据我们所知，这是第一次有论文研究从时间变量提示生成视频。此外，所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示（即时间可变文本或故事）生成任意长视频。据我们所知，这是第一次有论文研究从时间变量提示生成视频。此外，所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示（即时间可变文本或故事）生成任意长视频。据我们所知，这是第一次有论文研究从时间变量提示生成视频。此外，所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。
数据评估
本站52运营提供的Phenaki都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由52运营实际控制，在2023年5月10日 下午5:12收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，52运营不承担任何责任。
相关导航
D-ID 的生成式 AI 技术为营销、学习和开发以及 CX 领域的专业人士以及各种内容创作者提升了视频内容。我们的平台使用户能够从文本中生成逼真的数字人物，从而显着降低大规模视频制作的成本和麻烦。客户包括财富 500 强公司、营销机构、制作公司、社交媒体平台、领先的电子学习平台和各种内容创作者。我们的解决方案可通过自助服务工作室和面向企业、制造商和开发人员的API获得。D-ID 成立于 2017 年，由一级 VC 支持。使用我们的技术创建了超过 1.1 亿个视频。 最近的客户包括 Warner Brothers Pictures、Publicis、Mondelez、Skilldora 和 MyHeritage，他们使用 D-ID 的平台创造了非凡的体验。
