最近在尝试用 Dreambooth 对 NovelAI 进行微调。奈何 webui 提供的扩展实在太不稳定,训练不到 10 个 step loss 就发散了。
之后我尝试使用 diffusers 训练,但 diffusers 使用的模型格式并不是 ckpt ,和 NovelAI 不兼容。尝试使用网上提供的第三方转换脚本进行转换,结果无一例外模型都坏掉了,生成一堆五颜六色的雪花图。HuggingFace 倒是的确提供了转换脚本,但不支持 NovelAI 的 ckpt 。
我给官方提供的其中一个转换脚本打了 patch ,成功转换出正确的模型,之后又花了半个通宵魔改用例做出了这个脚本。
如题,这个小工具主要功能就是把 ckpt 格式转换成 diffusers 格式,特点如下:
https://github.com/Sunbread/Ckpt2Diff
如果要使用 Dreambooth 以人像为样本进行微调,建议遵循如下指南:
https://huggingface.co/blog/dreambooth
其中有一条是使用 DDIM Scheduler ,这个你得在转换时就设好。
1
codecool 2022-12-14 16:37:35 +08:00
赞,有什么方法把 deambooth 的训练出来的模型集成到 invokeai ?
|