Text2Video-Zero - Text2Video-Zero：文本到图像扩散模型是零镜头视频生成器

Created at: 2023-03-21 21:41:40

Language: Python

编号: https://github.com/Picsart-AI-Research/Text2Video-Zero

License: NOASSERTION

文本2视频-零

这个存储库是Text2Video-Zero的官方实现。

Text2Video-Zero：文本到图像扩散模型是零镜头视频生成器列翁·哈恰特良，安德拉尼克·莫夫西相，瓦赫拉姆·塔德沃相，罗伯托·亨舍尔，王章阳，尚特·纳瓦萨迪安，施汉弗莱

我们的方法Text2Video-Zero可以使用（i）文本提示（见第1，2行），（ii）结合姿势或边缘的指导（见右下角）的提示，以及（iii）视频指令-Pix2Pix，即指令引导的视频编辑（见左下角）来实现零镜头视频生成。结果在时间上是一致的，并严格遵循指南和文本提示。

新闻

[2023/03/23] 纸质文本2视频-零发布！
[03/25/2023] 我们的拥抱脸演示的第一个版本（零镜头文本到视频生成，视频指示Pix2Pix）发布！

法典

即将发布！

结果

文本转视频


“一只猫在草地上奔跑”	“一只熊猫在时代广场弹吉他	“一个人在雪地里奔跑”	“宇航员正在滑下山”

“一只熊猫在滑水板上冲浪”	“一只熊在时代广场上跳舞	“一个男人在阳光下骑自行车”	“一匹在街上驰骋的马”

“一只老虎独自走在街上”	“一只熊猫在滑水板上冲浪	“一匹在街上驰骋的马”	“一只可爱的猫在美丽的草地上奔跑”

“一匹在街上驰骋的马”	“一只熊猫独自走在街上	“一条狗在街上行走”	“宇航员在月球上挥舞双手”

带有姿势指导的文本到视频


“一只熊在混凝土上跳舞”	“一个在飞碟下跳舞的外星人	“一只熊猫在南极洲跳舞”	“在外太空跳舞的宇航员”

带边缘指导的文本转视频


“白蝴蝶”	“美丽的女孩	“水母”	“美丽的女孩万圣节风格”

“野狐在走路”	“一个美丽女孩特写的油画	“圣诞老人”	“一只鹿”

具有边缘指导和梦幻亭专业化的文本转视频


“动漫风格”	“奥秘风格	“gta-5人”	“阿瓦尔风格”

视频指导像素2像素


“用黑猩猩代替人”	“让它成为梵高星夜风格”	“让它成为 Picasso 风格”

“让它成为表现主义风格”	“让它成为夜晚”	“让它成为秋天”

比特克斯

如果你在研究中使用我们的工作，请引用我们的出版物：

@article{text2video-zero,
    title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
    author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
    journal={arXiv preprint arXiv:2303.13439},
    year={2023}
}