Text2Video-Zero - Text2Video-Zero：文本到图像扩散模型是零镜头视频生成器
Created at: 2023-03-21 21:41:40
Language: Python
License: NOASSERTION
文本2视频-零
这个存储库是Text2Video-Zero的官方实现。
Text2Video-Zero：文本到图像扩散模型是零镜头视频生成器列翁·哈恰特良， 安德拉尼克·莫夫西相， 瓦赫拉姆·塔德沃相， 罗伯托·亨舍尔， 王章阳， 尚特·纳瓦萨迪安， 施汉弗莱
我们的方法Text2Video-Zero可以使用（i）文本提示（见第1，2行），（ii）结合姿势或边缘的指导（见右下角）的提示，以及（iii）视频指令-Pix2Pix，即指令引导的视频编辑（见左下角）来实现零镜头视频生成。结果在时间上是一致的，并严格遵循指南和文本提示。
新闻
法典
即将发布！
结果
文本转视频
 |
 |
 |
 |
| “一只猫在草地上奔跑” | “一只熊猫在时代广场弹吉他 | “一个人在雪地里奔跑” | “宇航员正在滑下山” |
 |
 |
 |
 |
| “一只熊猫在滑水板上冲浪” | “一只熊在时代广场上跳舞 | “一个男人在阳光下骑自行车” | “一匹在街上驰骋的马” |
 |
 |
 |
 |
| “一只老虎独自走在街上” | “一只熊猫在滑水板上冲浪 | “一匹在街上驰骋的马” | “一只可爱的猫在美丽的草地上奔跑” |
 |
 |
 |
 |
| “一匹在街上驰骋的马” | “一只熊猫独自走在街上 | “一条狗在街上行走” | “宇航员在月球上挥舞双手” |
带有姿势指导的文本到视频
 
|
 
|
 
|
 
|
| “一只熊在混凝土上跳舞” | “一个在飞碟下跳舞的外星人 | “一只熊猫在南极洲跳舞” | “在外太空跳舞的宇航员” |
带边缘指导的文本转视频
 
|
 
|
 
|
 
|
| “白蝴蝶” | “美丽的女孩 | “水母” | “美丽的女孩万圣节风格” |
 
|
 
|
 
|
 
|
| “野狐在走路” | “一个美丽女孩特写的油画 | “圣诞老人” | “一只鹿” |
具有边缘指导和梦幻亭专业化的文本转视频
 
|
 
|
 
|
 
|
| “动漫风格” | “奥秘风格 | “gta-5人” | “阿瓦尔风格” |
视频指导像素2像素
 
|
 
|
 
|
| “用黑猩猩代替人” | “让它成为梵高星夜风格” | “让它成为 Picasso 风格” |
 
|
 
|
 
|
| “让它成为表现主义风格” | “让它成为夜晚” | “让它成为秋天” |
比特克斯
如果你在研究中使用我们的工作，请引用我们的出版物：
@article{text2video-zero,
title={Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Generators},
author={Khachatryan, Levon and Movsisyan, Andranik and Tadevosyan, Vahram and Henschel, Roberto and Wang, Zhangyang and Navasardyan, Shant and Shi, Humphrey},
journal={arXiv preprint arXiv:2303.13439},
year={2023}
}
About
Author：Picsart-AI-Research
热门帖子
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13