迪斯科扩散

用于生成AI艺术和动画的笔记本，模型和技术的弗兰肯斯坦式融合。

[即将更新更多信息]

贡献

此项目使用特殊的转换工具将python文件转换为笔记本，以便于开发。

这意味着你不必直接触摸笔记本即可对其进行更改

正在使用的工具称为Colab-Convert

• 安装使用

  pip install colab-convert

• 将 .py 转换为 .ipynb

  colab-convert /path/to/file.py /path/to/file.ipynb

• 将 .ipynb 转换为 .py

  colab-convert /path/to/file.ipynb /path/to/file.py

更新日志

v1 10月 29th 2021 - 索姆奈

• 添加了最初的QoL改进，包括用户友好的UI，设置+提示保存和改进的Google云端硬盘文件夹组织。

v1.1 2021年11月13日 - 索姆奈

• 现在包括大小调整选项、中间保存和固定图像提示以及 perlin init。未曝光的批处理选项，因为它不起作用

v2更新：2021年11月22日 - 索姆奈

• Katherine Crowson的二次模型方法的初始添加（https://colab.research.google.com/drive/1mpkrhOjoyzPeSWy2r7T8EYRaU7amYOOi#scrollTo=X5gODNAMEUCR)
• 修复了命名不正确的设置文件

v3更新：2021年12月24日 - 索姆奈

• 实施了丹戈先进的切口方法
• 添加了 SLIP 模型，这要归功于 NeuralDivergent
• 修复了 NaN 导致黑色图像的问题，并得到了 @Softology 的大量帮助和测试
• Perlin现在在批处理中正确更改（不确定这个perlin_regen代码最初来自哪里，但谢谢）

v4 更新： 2022年1月 - 索姆奈

• 实现的扩散缩放
• 添加了 Chigozie 关键帧
• 对流程进行了大量编辑

v4.1 更新：2022年1月14日 - 索姆奈

• 新增视频输入模式
• 添加了以某种方式丢失的许可证
• 添加了改进的提示键框、固定image_prompts和多个提示
• 改进的用户界面
• 显著的引擎盖下清理和改进
• 每种模式的优化默认值
• 由于导入冲突，暂时删除了 SLIP 模型
• 添加潜扩散超级Res以进行锐化
• 新增恢复运行模式

v5更新：2022年2月20日 - 甘达姆/亚当·莱茨

• 新增3D动画模式。使用 AdaBins 和 MiDaS 深度估计模型的加权组合。使用pytorch3d在Colab和/或Linux上进行3D转换。

v5.1 更新：2022年3月30日 - zippy / Chris Allen和Gandum / Adam Letts

• Disco Diffusion Turbo的集成Turbo+Smooth功能 - 只是实现，没有默认值。
• 实现了turbo动画的恢复，现在可以从不同的批处理文件夹和批号恢复。
• 3D 旋转参数单位现在是度（而不是弧度）
• 更正了sampling_mode中的名称冲突（现在diffusion_sampling_mode plms/ddim，sampling_mode用于 3D 变换采样）
• 添加了video_init_seed_continuity选项，使初始化视频动画更加连续
• 删除了pytorch3d，不需要使用专门为Disco Diffusion制作的精简版进行编译
• 删除超分辨率
• 移除滑动模型
• 跨平台支持的更新

v5.1 更新：2022 年 4 月 4 日 - MSFTserver 又名 HostsServer

• 删除了pytorch3d，不需要使用专门为Disco Diffusion制作的精简版进行编译
• 删除超分辨率
• 移除滑动模型
• 跨平台支持的更新

v5.2 更新：2022年4月10日 - nin_artificial / 汤姆梅森

• 虚拟现实模式

v5.3 更新：2022年6月10日 - nshepperd，huemin，cut_pow

• 水平和垂直对称
• 增加 ViT-L/14@336px 型号（需要高 VRAM）

v5.4 更新：2022 年 6 月 14 日 - devdef / Alex Spirin，由 gandamu / Adam Letts 集成到 DD 主

• 翘曲模式 - 利用光流估计和帧混合实现平滑/连续的视频输入结果
• 自定义模型支持

v5.5 更新：2022年7月11日 - Palmweaver / Chris Scalf，KaliYuga_ai，由gandamu / Adam Letts进一步整合

• OpenCLIP 模型集成
• 像素艺术扩散、水彩扩散和纸浆科幻扩散模型
• cut_ic_pow调度

v5.6 更新：2022年7月13日 - Felipe3DArtist，由gandamu / Adam Letts整合

• 集成portrait_generator_v001 - 在人脸上训练的512x512扩散模型 - 来自Felipe3DArtist

笔记本来源

凯瑟琳·克劳森（Katherine Crowson）的原始笔记本（https://github.com/crowsonkb，https://twitter.com/RiversHaveWings）。它使用OpenAI的256x256无条件ImageNet或Katherine Crowson的微调512x512扩散模型（https://github.com/openai/guided-diffusion）以及CLIP（https://github.com/openai/CLIP）将文本提示与图像连接起来。

由 Daniel Russell（https://github.com/russelldc，https://twitter.com/danielrussruss）修改，以包括（希望）在 15-100 倍而不是 1000 倍中快速生成的最佳参数，以及更强大的增强功能。

Dango233和nshepperd的进一步改进有助于提高扩散质量，特别是对于像本笔记本旨在实现的较短运行。

Vark 添加了代码以一次加载到多个 Clip 模型中，并针对这些模型评估所有提示，这可能会大大提高准确性。

最新的缩放、平移、旋转和关键帧功能取自 Chigozie Nri 的 VQGAN Zoom Notebook（https://github.com/chigozienri，https://twitter.com/chigozienri)

Advanced DangoCutn Cutout方法也来自Dango223。

--

Somnai（https://twitter.com/Somnai_dreams）增加了2D扩散动画技术，QoL改进以及技术和技术的各种实现，主要列在下面的更新日志中。

由Adam Letts（https://twitter.com/gandamu_ml）与Somnai合作添加的3D动画实现。

Chris Allen的Turbo feature （https://twitter.com/zippy731)

改进了在本地系统上运行的能力、Windows 支持和 HostsServer 的依赖关系安装（https://twitter.com/HostsServer)

VR Mode by Tom Mason （https://twitter.com/nin_artificial)

nshepperd 的水平和垂直对称功能。huemin（https://twitter.com/huemin_art）transformation_steps对称性。Dmitrii Tochilkin（https://twitter.com/cut_pow）的《Disco Diffusion》的对称性整合。

Alex Spirin（https://twitter.com/devdef）的Warp和自定义模型支持。

来自KaliYuga的Pixel Art Diffusion，Watercolor Diffusion和Pulp SciFi Diffusion模型（https://twitter.com/KaliYuga_ai）。关注KaliYuga的Twitter，了解最新型号和具有特殊设置的笔记本电脑。

OpenCLIP模型的集成和Palmweaver / Chris Scalf的KaliYuga模型集成（https://twitter.com/ChrisScalf11)

来自Felipe3DArtist的集成portrait_generator_v001（https://twitter.com/Felipe3DArtist)