make-a-video-pytorch - 在 Pytorch 中实现 Make-A-Video，从 Meta AI 到视频生成器的新 SOTA 文本
Created at: 2022-09-29 23:17:15
Language: Python
License: MIT
制作视频 - 毕托奇（嗖嗖嗖）
在Pytorch中实现制作视频，来自元AI的新SOTA文本到视频生成器。它们结合了伪3D卷积（轴向卷积）和时间注意，并显示出更好的时间融合。
伪3d卷积并不是一个新概念。它之前已经在其他上下文中进行过探索，例如将蛋白质接触预测为“维度混合残留网络”。
本文的要点归结为，采用SOTA文本到图像模型（这里他们使用DALL-E2，但相同的学习点很容易适用于Imagen），进行一些小的修改以引起人们的注意，以及其他方法来吝啬计算成本，正确进行帧插值，获得一个很棒的视频模型。
引文
@misc{Singer2022,
author = {Uriel Singer},
url = {https://makeavideo.studio/Make-A-Video.pdf}
}About
Author：lucidrains
热门帖子
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)