disco-diffusion - 用于生成 AI 艺术和动画的笔记本、模型和技术的科学怪人融合。

Created at: 2022-02-25 07:52:28
开发语言: Jupyter Notebook
授权协议: NOASSERTION

迪斯科扩散

在科拉布打开

用于生成AI艺术和动画的笔记本,模型和技术的弗兰肯斯坦式融合。

[即将更新更多信息]

更新日志

v1 2021年10月29日 - Somnai

  • 添加了最初的QoL改进,包括用户友好的UI,设置+提示保存和改进的Google驱动器文件夹组织。

v1.1 2021年11月13日 - Somnai

  • 现在包括大小调整选项、中间保存和固定图像提示以及 perlin 初始化。未公开的批处理选项,因为它不起作用

v2 更新:2021 年 11 月 22 日 - Somnai

v3 更新:2021 年 12 月 24 日 - Somnai

  • 实施了 Dango 的高级切口方法
  • 添加了 SLIP 模型,这要归功于 NeuralDivergent
  • 修复了导致图像变黑的 NaNs 问题,并得到了@Softology的大量帮助和测试
  • Perlin 现在在批处理中正确更改(不确定此perlin_regen代码最初来自何处,但谢谢)

v4 更新日期:2021 年 1 月 - Somnai

  • 实现扩散缩放
  • 添加了 Chigozie 关键帧
  • 对流程进行了大量编辑

v4.1 更新日期:2021年1月14日 - Somnai

  • 新增视频输入模式
  • 添加了不知何故丢失的许可证
  • 添加了改进的提示框图、固定image_prompts和多个提示
  • 改进的用户界面
  • 重大的引擎盖下清理和改进
  • 优化了每种模式的默认值
  • 由于导入冲突暂时删除了 SLIP 模型
  • 添加了用于锐化的潜在扩散 SuperRes
  • 新增恢复运行模式

v5 更新:2022 年 2 月 20 日 - 甘达姆 / 亚当·莱茨

  • 添加了3D动画模式。使用AdaBins和MiDaS深度估计模型的加权组合。使用 pytorch3d 在 Colab 和/或 Linux 上进行 3D 转换。

v5.1 更新:2022年3月30日 - zippy / Chris Allen and gandamu / Adam Letts

  • 来自Disco Diffusion Turbo的集成Turbo +Smooth功能 - 只是实现,没有默认值。
  • 以这样的方式实现了 turbo 动画的恢复,现在可以从不同的批次文件夹和批号恢复。
  • 3D 旋转参数单位现在是度(而不是弧度)
  • 更正了sampling_mode中的名称冲突(现在diffusion_sampling_mode plms/ddim,sampling_mode用于 3D 变换采样)
  • 添加了video_init_seed_continuity选项,使初始化视频动画更加连续
  • 删除了pytorch3d,不需要使用专门为Disco Diffusion制作的精简版进行编译
  • 删除超分辨率
  • 移除滑移模型
  • 跨平台支持的更新

v5.1 更新:2022 年 4 月 4 日 - MSFTserver 又名 HostsServer

  • 删除了pytorch3d,不需要使用专门为Disco Diffusion制作的精简版进行编译
  • 删除超分辨率
  • 移除滑移模型
  • 跨平台支持的更新

v5.2 更新日期:2022年4月10日 - nin_artificial / 汤姆·梅森

  • 虚拟现实模式

笔记本出处

Katherine Crowson(https://github.com/crowsonkbhttps://twitter.com/RiversHaveWings)的原始笔记本。它使用OpenAI的256x256无条件ImageNet或Katherine Crowson的微调512x512扩散模型(https://github.com/openai/guided-diffusion),以及CLIP(https://github.com/openai/CLIP)将文本提示与图像连接起来。

由Daniel Russell(https://github.com/russelldchttps://twitter.com/danielrussruss)修改,以包括(希望)在15-100个时间步长而不是1000个时间步长内快速生成的最佳参数,以及更强大的增强。

Dango233 和 nsheppard 的进一步改进有助于提高扩散质量,特别是对于像这款笔记本电脑旨在实现的较短运行。

Vark 添加了代码以一次加载到多个 Clip 模型中,并针对这些代码评估所有提示,这可能会大大提高准确性。

最新的缩放、平移、旋转和关键帧功能取自 Chigozie Nri 的 VQGAN Zoom Notebook (https://github.com/chigozienrihttps://twitter.com/chigozienri)

先进的DangoCutn切口方法也来自Dango223。

--

Somnai(https://twitter.com/Somnai_dreams)添加了2D扩散动画技术,QoL改进以及各种技术和技术的实现,主要列在下面的更改日志中。

由 Adam Letts(https://twitter.com/gandamu_ml)与 Somnai 合作添加的 3D 动画实现。