司机社

标题: ai绘画授之于渔3 锁定画面的openpose [打印本页]

作者: yin30666 时间: 2023-2-24 19:20
标题: ai绘画授之于渔3 锁定画面的openpose
本帖最后由 yin30666 于 2023-2-26 07:39 编辑

正所谓要资源有资源，要教程有资源，先上主菜

之前的有回帖说，生成图片效果不好，大概率是因为没有在设置-Stable Diffusion里选择模型VAE，去看了一堆讲解，听睡着了都，说回vae就是让ai增加脸部细节，文字细节，链接里有一个不错的vae，下载之后放到./novelai-webui/models/Stable-diffusion,想要下载其他vae，https://huggingface.co/ 下载，最后回设置-Stable Diffusion里刷新列表，选择840000，保存设置，去扩展-应用并重启用户界面

之后进入webui界面，加载主模型，输入词条prompt，加载咱们训练的指定Lora模型，选择采样器，更改其他参数之后，最大的问题来了，AI它真的不会画手和脚，不是六个手指，就是四个胳膊，还有三条腿，两个头(我手画的都比AI好)

那么怎么办呢，那就是锁定你想要的画面插件ControlNet，整合包里应该自带ControlNet的openpose模型，如果没有模型文件，链接里有openpose模型，要是插件也没有，去看秋葉aaaki的视频，把里面的extensions复制粘贴到./novelai-webui这里，里面模型文件已经整理好了，省的一个一个拖拽
接下来安装OpenPose Editor插件，点击-选项扩展-可用-加载自-Install，再点-已安装，应用并重启用户界面，要是还没加载出来，就重启webui

先来到openpose界面，点开ContronNet，打勾启用，真人照片的话，下面两个都选择openpose，黑底图片的话，在Preprocessor里选none，其他的选项先不动，8g显存可以打勾上面的Low VRAM，图片大小设置512*512就行，别的比如 832*960也行，个人感觉没区别

接下来回到上面，点生成，这次的ai生成图片会出现两个图了，其中一个是openpose插件，自动生成的黑底图片，可以拖到桌面，拖到ps里自己细改，链接里也有方便修改的黑底图片的psd文件

不想用ps的话，那就用最近更新的OpenPose Editor，这是今天的重头戏了，打开openpose Editor界面

会看到一个人默认站姿的骨骼，黑色底的，没有就点击左边的Add，再点击可以再生成另一个，可以单点其中每个圆圈，之后都叫点了，拖拽每个点到其他位置摆出你想要的pose，也可以框选好几个点来一起移动，但是不能旋转，如果不小心把点移到画面外了，可以框选几个点，把它拉回来，摆完pose之后，点右下角的Send to ControlNet，可以直接在文生图界面看到它，别忘了黑底骨骼的话，要选none和control_openpose，json是一个保存加载用的文件，1kb，方便下次打开继续调整，其他选项还没动过
要是想擦除指定某个部分，打开链接里的psd文件自行擦除
然后暂时按8头身，一米8的模特身材来算，躯干(左)：上臂：前臂：大腿：小腿：肩宽：鼻子到锁骨中点为
12：7：6：6：6：4：3，要考虑观众视角，这样每个长度会适当变短边长
打开链接里的psd文件，有意思的是可以用橡皮擦，擦去眼睛和鼻子，这样就是生成的就是人物的背面图了(有概率出现贞子)，也可以尝试擦除别的点和骨骼线来看看效果，每个点都是啥以及大约的身体比例详细说明写在下面图片里

最后剩下ControlNet的Preorocessor里的其他选项了，canny是让ai生成线稿图，然后根据线稿上色的，真人照片的话不好用，效果一般，depth和hed是边缘检测，真人和cg风可以用试试这个，用法是Preprocessor和模型那两栏都选同样的depth和同样的hed，生成的depth图片拖拽进来的话，也在Preprocessor里选none，大佬们可以试试其他选项，室内设计那个让我自问这还不是魔法嘛

我去研究怎么用插件把一帧一帧的图片变成同样背景的动画了，这回得从零开始了

作者: candiest 时间: 2023-2-24 19:35
谢谢分享

作者: meilinx 时间: 2023-2-24 19:39
感谢分享

作者: 805862929 时间: 2023-2-24 19:56
感谢分享

作者: 猪佩琪 时间: 2023-2-24 19:56
支持支持

作者: lingling 时间: 2023-2-24 20:01
大佬牛逼

作者: Honghuaxiao 时间: 2023-2-24 20:04
过来学习了。。。

作者: 1178394165 时间: 2023-2-24 20:12
666

作者: 805862929 时间: 2023-2-24 20:14
感谢分享

作者: 982361457 时间: 2023-2-24 20:19
插坐标

作者: 914990409 时间: 2023-2-24 20:27
大佬你这复杂了，来个简单的，比如局部重绘，，画出落体，画出液体，，，怎么配置模型等，咒语等，这个更适合我们

作者: 牛mermer 时间: 2023-2-24 20:28
肉眼可见的进步，厉害啊楼主

作者: play7284 时间: 2023-2-24 20:35
今天看到有人说把p站的色图用img2img和stable diffusion结合会发现新大陆，不知真假

作者: lfy301502 时间: 2023-2-24 20:44
高手

作者: yin30666 时间: 2023-2-24 20:45

914990409 发表于 2023-2-24 20:27
大佬你这复杂了，来个简单的，比如局部重绘，，画出落体，画出液体，，，怎么配置模型等，咒语等，这个更适 ...

咒语在第一期里有，链接里有图片源文件，直接拖到webui的正面词条那框里，就能看见了，种子序号，模型序号都写着的，裸体是 (nude:1.2)，液体是 cum, cum on face, cum on ficial, cum-dropping,cum-covered,如果不出现液体，现在前面词条写个 white jiuce这种

作者: yin30666 时间: 2023-2-24 20:48

play7284 发表于 2023-2-24 20:35
今天看到有人说把p站的色图用img2img和stable diffusion结合会发现新大陆，不知真假 ...

那当然了，图生图的问题在于，个人认为啊，你都有e站，p站的色图了，还图生图干嘛，直接那啥不是

作者: 乡下里巴人 时间: 2023-2-24 20:50

感谢分享

作者: 牛牛BIGBANG 时间: 2023-2-24 20:55
感谢分享

作者: yin30666 时间: 2023-2-24 20:55

牛mermer 发表于 2023-2-24 20:28
肉眼可见的进步，厉害啊楼主

其实前两贴是为了发帖新写的词条，这期资源早就做过了，还有触手的，本子风的，倒着进步是吧

作者: play7284 时间: 2023-2-24 20:55

yin30666 发表于 2023-2-24 20:48
那当然了，图生图的问题在于，个人认为啊，你都有e站，p站的色图了，还图生图干嘛，直接那啥不是 ...

大佬说的对

作者: 2215 时间: 2023-2-24 21:11
感谢分享

作者: 真滴爱你 时间: 2023-2-24 21:13
感谢分享

作者: 死鬼吹灯 时间: 2023-2-24 21:18

感谢分享

作者: 2022917nice 时间: 2023-2-24 21:20
感谢分享

作者: 454676609 时间: 2023-2-24 21:21
感谢分享

作者: 小吃摊 时间: 2023-2-24 21:50
练了好几天生成出来的人物只是神似，不太像，不会整了

作者: addoiles 时间: 2023-2-24 21:54
腹肌是怎么回事？

作者: 暗黑佟大为 时间: 2023-2-24 21:56
肉眼可见的进步，厉害啊楼主

作者: Glshsj 时间: 2023-2-24 22:04
一次比一次好了，等换了显卡也试试

作者: buyaobaowo 时间: 2023-2-24 22:06
感谢分享

作者: yin30666 时间: 2023-2-24 22:09

addoiles 发表于 2023-2-24 21:54
腹肌是怎么回事？

你是觉得画的不好的话，反正不是我画的，腹肌词条是 (toned abs:1.0),可以尝试加一些相关词，缩小ai的搜索范围，比如健身房 gym 形体衣？(不知道怎么翻译了) gym uniform，

作者: addoiles 时间: 2023-2-24 22:12

yin30666 发表于 2023-2-24 22:09
你是觉得画的不好的话，反正不是我画的，腹肌词条是 (toned abs:1.0),可以尝试加一些相关词，缩小ai的搜 ...

腹肌词条 abs:1.0那里是不是可以调整权重，比如把1.0改成0.5之类的？

作者: yin30666 时间: 2023-2-24 22:13

小吃摊发表于 2023-2-24 21:50
练了好几天生成出来的人物只是神似，不太像，不会整了

你是lora模型嘛，要是lora模型，最好自己填写txt文件的词条，ai生成的话会产生一些错的，比如帖子2里的女主根本没有电话，它有一个文件写着smartphone，神似还有一种可能是因为你底模型选的不好，比如正脸图，就找全是正脸的底模形，二次元风就找对应的二次元的，说回神似不就挺好的，一旦别人告你侵犯肖像权呢

作者: huasa 时间: 2023-2-24 22:14
感谢分享

作者: 柒777 时间: 2023-2-24 22:20
头脑风暴了

作者: 紫炎 时间: 2023-2-24 22:33

我先把一玩明白

作者: yin30666 时间: 2023-2-24 22:42

addoiles 发表于 2023-2-24 22:12
腹肌词条 abs:1.0那里是不是可以调整权重，比如把1.0改成0.5之类的？

但是0.5太低了，几乎200张里一张的感觉，怎么得0.8

作者: bzsml 时间: 2023-2-24 23:21
大佬，请问第二期教程里的图片，你用20张训练，一般多少张就够了，我用的DF以前的1000多张有必要吗

作者: scd123 时间: 2023-2-24 23:38

bzsml 发表于 2023-2-24 23:21
大佬，请问第二期教程里的图片，你用20张训练，一般多少张就够了，我用的DF以前的1000多张有必要吗 ...

我自己测试了下，20张15次迭代足矣

作者: scd123 时间: 2023-2-24 23:39
大佬好，请问Stable Diffusion法术解析中如何找到您使用的lora模型呀_(:з」∠)_

作者: habi3hao 时间: 2023-2-24 23:53
大佬牛逼

作者: yin30666 时间: 2023-2-24 23:56

scd123 发表于 2023-2-24 23:39
大佬好，请问Stable Diffusion法术解析中如何找到您使用的lora模型呀_(:з」∠)_

这次3 只是放大后的图片应该法术解析没用，正常看是在AddNet Enabled 之后那一行，直接告诉你多好，大部分还是帖子2里的lora模型成品，外国美女是用土团联盟（一个视频团队）里的女演员练的模型，叫britt，感觉效果不好，就没放进链接

作者: scd123 时间: 2023-2-24 23:59

yin30666 发表于 2023-2-24 23:56
这次3 只是放大后的图片应该法术解析没用，正常看是在AddNet Enabled 之后那一行，直接告诉你多好，大部 ...

我看到了，之前贴上去一张国风图里的lora模型是hf2ming-beta-020601，但是可惜原作者不再提供下载了

作者: qcrm1 时间: 2023-2-25 00:06
感谢分享

作者: scd123 时间: 2023-2-25 00:10

yin30666 发表于 2023-2-24 23:56
这次3 只是放大后的图片应该法术解析没用，正常看是在AddNet Enabled 之后那一行，直接告诉你多好，大部 ...

大佬，还有个小问题，我打开controlNet后按照教程导入照片，预览也出现了骨骼图，但是生成的图片没有按照该姿势生成_(:з」∠)_

作者: 1525405984 时间: 2023-2-25 00:16
感谢分享

作者: bzsml 时间: 2023-2-25 00:22
大佬，训练的时候都按你的设置了，出现这个错误是怎么回事，你说的3点我也试过了，还是不行

作者: skjsk 时间: 2023-2-25 00:31
感谢

作者: gjytsl 时间: 2023-2-25 00:45
感谢分享

作者: yin30666 时间: 2023-2-25 00:51

bzsml 发表于 2023-2-25 00:22
大佬，训练的时候都按你的设置了，出现这个错误是怎么回事，你说的3点我也试过了，还是不行
...

我去查了一下，你先试试重启电脑，遇事不决先重启，然后git bash强制更新，不行的话，把文档第85行，也就是倒数第四行的--xfomers-中间省略 ext_args删除，试试，再不行那
就把第15行的 train_unit_only=0 的0改为1，相当于牺牲效果，看看行不行

作者: yin30666 时间: 2023-2-25 00:57

scd123 发表于 2023-2-25 00:10
大佬，还有个小问题，我打开controlNet后按照教程导入照片，预览也出现了骨骼图，但是生成的图片没有按照 ...

出现骨骼，不出现姿势太正常了，我一天需要删除这样的图500多张，骨骼图就是让ai有个底子去画的，出现好的效果再保存种子，还有一种可能，你上面词条写的不对，比如是个坐下的姿势，你词条写的躺着，那ai可能会生成三头六臂给你

作者: scd123 时间: 2023-2-25 00:58

yin30666 发表于 2023-2-25 00:57
出现骨骼，不出现姿势太正常了，我一天需要删除这样的图500多张，骨骼图就是让ai有个底子去画的，出现好 ...

好的，我还以为他能严格按照ControlNet的骨骼去生成

作者: Tommyroc 时间: 2023-2-25 01:18
赞内！！！！

作者: yin30666 时间: 2023-2-25 01:40

scd123 发表于 2023-2-25 00:58
好的，我还以为他能严格按照ControlNet的骨骼去生成

controlnet 是之前所有参数，lora模型调完之后得下一步，一开始写词条时用的话，很容易出现贞子，选项里不是有 resize mode选项卡不是，一般选中间得 inner 可以尝试旁边两个

作者: lzjqtzdd2007 时间: 2023-2-25 01:44
厉害了啊

作者: 1316773252 时间: 2023-2-25 02:04
厉害

作者: lphbond 时间: 2023-2-25 02:06
一是极其前程浪

作者: scd123 时间: 2023-2-25 02:08

yin30666 发表于 2023-2-25 01:40
controlnet 是之前所有参数，lora模型调完之后得下一步，一开始写词条时用的话，很容易出现贞子，选项里 ...

好的~之前的那个问题我也解决了，我更换了一下磁盘，导致根目录的config文件出现了路径变动，使得controlNet中的文件无法读取，现在解决了哈哈哈哈

作者: yin30666 时间: 2023-2-25 02:22

scd123 发表于 2023-2-25 02:08
好的~之前的那个问题我也解决了，我更换了一下磁盘，导致根目录的config文件出现了路径变动，使得control ...

又知道一个报错，下次有人问，我知道怎么回了

作者: w6593126 时间: 2023-2-25 02:38
大佬牛批

作者: xu27507929 时间: 2023-2-25 02:57
感谢感谢

作者: 蓝色啊 时间: 2023-2-25 03:02
6666666666

作者: Observer_G 时间: 2023-2-25 05:14
先收藏一个~

作者: silverbream 时间: 2023-2-25 07:27

感谢分享

作者: xjx3g895 时间: 2023-2-25 07:56
感谢分享

作者: BUTISITUTA 时间: 2023-2-25 08:29
大佬牛逼

作者: gaozhantian 时间: 2023-2-25 08:43
感谢楼主的分享

作者: Yapping7433 时间: 2023-2-25 08:45
滴滴滴

作者: heal 时间: 2023-2-25 09:39
谢谢分享

作者: bzsml 时间: 2023-2-25 09:46

scd123 发表于 2023-2-24 23:38
我自己测试了下，20张15次迭代足矣

请问15次迭代是啥意思？文件夹不是6_sijishe吗？这个是6次迭代的意思吗，迭代哪里设置哦

作者: crtop 时间: 2023-2-25 09:50
谢谢分享

作者: buuse 时间: 2023-2-25 10:05
谢谢分享

作者: bzsml 时间: 2023-2-25 10:19

yin30666 发表于 2023-2-25 00:51
我去查了一下，你先试试重启电脑，遇事不决先重启，然后git bash强制更新，不行的话，把文档第85行，也就 ...

这几点刚才也都一条条的试了，还是不行，不知道为啥

作者: 东酱 时间: 2023-2-25 10:42
老哥nb

作者: 3085985 时间: 2023-2-25 11:03
牛的感谢分享

作者: intbo 时间: 2023-2-25 11:51
感谢大佬

作者: lsaaa123 时间: 2023-2-25 12:44
感谢分享

作者: lock 时间: 2023-2-25 13:07
ccycy

作者: toyinging 时间: 2023-2-25 13:16
大佬牛逼

作者: 司机社的小白 时间: 2023-2-25 13:18
太硬核了吧

作者: soup 时间: 2023-2-25 13:57

candiest 发表于 2023-2-24 19:35
谢谢分享

谢谢分享

作者: bzsml 时间: 2023-2-25 14:59
大佬，请问训练的时候出现这个是什么意思，怎么解决哦，谢谢

作者: season888 时间: 2023-2-25 15:47
感谢分享

作者: zzz4255 时间: 2023-2-25 15:49
真牛啊

作者: zzz4255 时间: 2023-2-25 15:54
感谢大佬

作者: 奥特曼1234 时间: 2023-2-25 16:06
谢谢分享

作者: samwangge 时间: 2023-2-25 16:52
感谢分享

作者: archerll 时间: 2023-2-25 17:50
感谢分享

作者: 九九九九 时间: 2023-2-25 18:07
谢谢

作者: 板蓝根有点甜 时间: 2023-2-25 18:38
感谢分享

作者: ahhha 时间: 2023-2-25 19:05
大佬你链接里面的模型怎么用？哪个放在哪个文件夹啊？

作者: yin30666 时间: 2023-2-25 21:44

ahhha 发表于 2023-2-25 19:05
大佬你链接里面的模型怎么用？哪个放在哪个文件夹啊？

要是从1的整合包过来的话，模型文件直接删除就行，不用放，Editor那个留下就行，vae放到./novelai-webui/models/stable-duffision里，去设置启用，2的lora模型，帖子里写了

作者: yin30666 时间: 2023-2-25 21:51

bzsml 发表于 2023-2-25 14:59
大佬，请问训练的时候出现这个是什么意思，怎么解决哦，谢谢

你先重启一下，遇事不决先重启，然后搜了一下，说是cuda版本不对，我也不是学编程的，应该需要去更新你的cuda，显卡驱动相关的吧

作者: yin30666 时间: 2023-2-25 21:58

bzsml 发表于 2023-2-24 23:21
大佬，请问第二期教程里的图片，你用20张训练，一般多少张就够了，我用的DF以前的1000多张有必要吗 ...

没看懂你说的，20张不就20张就够了，为什么还问多张，迭代数就是 train文件用笔记本打开的第10行-max_train_epochs 最大训练步数，推荐10-20，20就够了，已经很像了，反而我想问DF是什么，我只知道dreambooth训练

作者: qijiajun 时间: 2023-2-25 22:07
顶顶顶顶顶顶顶顶顶顶顶

作者: 1316773252 时间: 2023-2-25 22:53

yin30666 发表于 2023-2-24 20:45
咒语在第一期里有，链接里有图片源文件，直接拖到webui的正面词条那框里，就能看见了，种子序号，模型序 ...

为啥我输入了这些词条还是没有液体

作者: yin30666 时间: 2023-2-25 23:23

1316773252 发表于 2023-2-25 22:53
为啥我输入了这些词条还是没有液体

1你没下载embeddings文件，去civitai站搜索 bukkakAI 第一个就是，记得打开18+，然后放到./novalai-webui/embeddings里，然后正面词条第一句里写上(bukkakAI:1.5)，还有一个realcumAI 也不错
2是因为你把写的词条太靠后了，放第一行

作者: 透明人 时间: 2023-2-25 23:40
高手

作者: zs123sc 时间: 2023-2-26 00:11
我这个无论怎么调它都不按照我给的骨骼来，不听指挥，把我气得够呛。

作者: yin30666 时间: 2023-2-26 01:00

zs123sc 发表于 2023-2-26 00:11
我这个无论怎么调它都不按照我给的骨骼来，不听指挥，把我气得够呛。

顺序是这样的，你先写词条，填上参数，让后选lora，出现你想要的姿势得时候，把种子保留，然后细调openpose，一开始用得话，很容易出现贞子，就是中间是好几个头那种，我也不知道它怎么生成的
还有就是不出现姿势，可能是咱们选的主模型不好，他训练模型的时候没有全身照，所以换个主模型试试，但是要同时考虑lora模型，换的话lora又不好了，所以需要把新的主模型作为底模形，再训练一个新的lora

欢迎光临司机社 (https://sjsvv.vip/)