disco-diffusion - 用于生成 AI 艺术和动画的笔记本、模型和技术的科学怪人融合。

Created at: 2022-02-25 07:52:28
开发语言: Jupyter Notebook
授权协议: NOASSERTION

迪斯科扩散

在科拉布开业

用于生成AI艺术和动画的笔记本,模型和技术的弗兰肯斯坦式融合。

[即将更新更多信息]

贡献

此项目使用特殊的转换工具将python文件转换为笔记本,以便于开发。

这意味着你不必直接触摸笔记本即可对其进行更改

正在使用的工具称为Colab-Convert

  • 安装使用
    pip install colab-convert
  • 将 .py 转换为 .ipynb
    colab-convert /path/to/file.py /path/to/file.ipynb
  • 将 .ipynb 转换为 .py
    colab-convert /path/to/file.ipynb /path/to/file.py

更新日志

v1 10月 29th 2021 - 索姆奈

  • 添加了最初的QoL改进,包括用户友好的UI,设置+提示保存和改进的Google云端硬盘文件夹组织。

v1.1 2021年11月13日 - 索姆奈

  • 现在包括大小调整选项、中间保存和固定图像提示以及 perlin init。未曝光的批处理选项,因为它不起作用

v2更新:2021年11月22日 - 索姆奈

v3更新:2021年12月24日 - 索姆奈

  • 实施了丹戈先进的切口方法
  • 添加了 SLIP 模型,这要归功于 NeuralDivergent
  • 修复了 NaN 导致黑色图像的问题,并得到了 @Softology 的大量帮助和测试
  • Perlin现在在批处理中正确更改(不确定这个perlin_regen代码最初来自哪里,但谢谢)

v4 更新: 2022年1月 - 索姆奈

  • 实现的扩散缩放
  • 添加了 Chigozie 关键帧
  • 对流程进行了大量编辑

v4.1 更新:2022年1月14日 - 索姆奈

  • 新增视频输入模式
  • 添加了以某种方式丢失的许可证
  • 添加了改进的提示键框、固定image_prompts和多个提示
  • 改进的用户界面
  • 显著的引擎盖下清理和改进
  • 每种模式的优化默认值
  • 由于导入冲突,暂时删除了 SLIP 模型
  • 添加潜扩散超级Res以进行锐化
  • 新增恢复运行模式

v5更新:2022年2月20日 - 甘达姆/亚当·莱茨

  • 新增3D动画模式。使用 AdaBins 和 MiDaS 深度估计模型的加权组合。使用pytorch3d在Colab和/或Linux上进行3D转换。

v5.1 更新:2022年3月30日 - zippy / Chris Allen和Gandum / Adam Letts

  • Disco Diffusion Turbo的集成Turbo+Smooth功能 - 只是实现,没有默认值。
  • 实现了turbo动画的恢复,现在可以从不同的批处理文件夹和批号恢复。
  • 3D 旋转参数单位现在是度(而不是弧度)
  • 更正了sampling_mode中的名称冲突(现在diffusion_sampling_mode plms/ddim,sampling_mode用于 3D 变换采样)
  • 添加了video_init_seed_continuity选项,使初始化视频动画更加连续
  • 删除了pytorch3d,不需要使用专门为Disco Diffusion制作的精简版进行编译
  • 删除超分辨率
  • 移除滑动模型
  • 跨平台支持的更新

v5.1 更新:2022 年 4 月 4 日 - MSFTserver 又名 HostsServer

  • 删除了pytorch3d,不需要使用专门为Disco Diffusion制作的精简版进行编译
  • 删除超分辨率
  • 移除滑动模型
  • 跨平台支持的更新

v5.2 更新:2022年4月10日 - nin_artificial / 汤姆梅森

  • 虚拟现实模式

v5.3 更新:2022年6月10日 - nshepperd,huemin,cut_pow

  • 水平和垂直对称
  • 增加 ViT-L/14@336px 型号(需要高 VRAM)

v5.4 更新:2022 年 6 月 14 日 - devdef / Alex Spirin,由 gandamu / Adam Letts 集成到 DD 主

  • 翘曲模式 - 利用光流估计和帧混合实现平滑/连续的视频输入结果
  • 自定义模型支持

v5.5 更新:2022年7月11日 - Palmweaver / Chris Scalf,KaliYuga_ai,由gandamu / Adam Letts进一步整合

  • OpenCLIP 模型集成
  • 像素艺术扩散、水彩扩散和纸浆科幻扩散模型
  • cut_ic_pow调度

v5.6 更新:2022年7月13日 - Felipe3DArtist,由gandamu / Adam Letts整合

  • 集成portrait_generator_v001 - 在人脸上训练的512x512扩散模型 - 来自Felipe3DArtist

笔记本来源

凯瑟琳·克劳森(Katherine Crowson)的原始笔记本(https://github.com/crowsonkb,https://twitter.com/RiversHaveWings)。它使用OpenAI的256x256无条件ImageNet或Katherine Crowson的微调512x512扩散模型(https://github.com/openai/guided-diffusion)以及CLIP(https://github.com/openai/CLIP)将文本提示与图像连接起来。

由 Daniel Russell(https://github.com/russelldchttps://twitter.com/danielrussruss)修改,以包括(希望)在 15-100 倍而不是 1000 倍中快速生成的最佳参数,以及更强大的增强功能。

Dango233和nshepperd的进一步改进有助于提高扩散质量,特别是对于像本笔记本旨在实现的较短运行。

Vark 添加了代码以一次加载到多个 Clip 模型中,并针对这些模型评估所有提示,这可能会大大提高准确性。

最新的缩放、平移、旋转和关键帧功能取自 Chigozie Nri 的 VQGAN Zoom Notebook(https://github.com/chigozienrihttps://twitter.com/chigozienri)

Advanced DangoCutn Cutout方法也来自Dango223。

--

Somnai(https://twitter.com/Somnai_dreams)增加了2D扩散动画技术,QoL改进以及技术和技术的各种实现,主要列在下面的更新日志中。

由Adam Letts(https://twitter.com/gandamu_ml)与Somnai合作添加的3D动画实现。

Chris Allen的Turbo feature (https://twitter.com/zippy731)

改进了在本地系统上运行的能力、Windows 支持和 HostsServer 的依赖关系安装(https://twitter.com/HostsServer)

VR Mode by Tom Mason (https://twitter.com/nin_artificial)

nshepperd 的水平和垂直对称功能。huemin(https://twitter.com/huemin_art)transformation_steps对称性。Dmitrii Tochilkin(https://twitter.com/cut_pow)的《Disco Diffusion》的对称性整合。

Alex Spirin(https://twitter.com/devdef)的Warp和自定义模型支持。

来自KaliYuga的Pixel Art Diffusion,Watercolor Diffusion和Pulp SciFi Diffusion模型(https://twitter.com/KaliYuga_ai)。关注KaliYuga的Twitter,了解最新型号和具有特殊设置的笔记本电脑。

OpenCLIP模型的集成和Palmweaver / Chris Scalf的KaliYuga模型集成(https://twitter.com/ChrisScalf11)

来自Felipe3DArtist的集成portrait_generator_v001(https://twitter.com/Felipe3DArtist)