预处理器:softedge_pidient模型:softedge 4.mlsd 这个模型只能识别直线,所以只适合拿来做房子的设计 controlnet的模型选择: 预处理器:mlsd模型:mlsd 看看预处理出来的图,都只有直线 绿色植物和瓶子这些有弧度的线条都会被忽略掉 5.scribble 这一个功能和图生图的涂鸦功能一样 可以将自己随便画的东西放进去,通过输入...
方法:通过 ControlNet 的 MLSD 模型提取建筑的线条结构和几何形状,构建出建筑线框(可提取参考图线条,或者手绘线条),再配合提示词和建筑/室内设计风格模型来生成图像。 应用模型:MLSD。 建筑/室内设计风格模型下载: https://civitai.com/?query=Interior https://civitai.com/?query=building MLSD 示例:(毛坯变精...
ControlNet的MLSD模型具有以下几个预处理器: ·M-LSD线条检测(M-LSD line detection) 点击生成,我们会得到以下建筑识别图: 在ControlNet中,MLSD模型的M-LSD线条检测是一种面向实时和轻量级的线段检测算法。相对于传统算法,MLSD在训练模型的层面上会比较麻烦,但在实现检测时,不需要关心各种参数就能达到很好的效果。
MLSD 模型在室内设计中最为常用,上传原始室内图,控制室内空间内的直线条,通过不同的关键词和大模型即可完成相同空间内不同风格的室内设计样板图。 ⑤ControlNet 1.1 Scribble 使用涂鸦控制Stable Diffusion 模型文件:control_v11p_sd15_scribble.pth 介绍:提取图片中物体的大轮廓,不会像 canny 一样提取精细化的线条,...
-mlsd_large_512_fp32.pth, 文件夹 mlsd-scannet.pt, 文件夹 normal_bae-150_16_swin_l_oneformer_coco_100ep.pth,250_16_swin_l_oneformer_ade20k_160k.pth,文件夹 oneformer-body_pose_model.pth,facenet.pth,hand_pose_model.pth,文件夹 openpose-table5_pidinet.pth,文件夹 pidinet-upernet_global...
1.MLSD的使用:打开ControlNet勾选“启用”,“完美像素模式”,和“允许预览”。控制类型选择【MLSD】。点击中间的爆炸图标可以生成预览效果。 2.草稿图是白底黑线要生成图像时,选在【MLSD】后,预处理器选择invert白底黑线模式模型,反之草稿图为黑底白线时预处理器无需选择,”none“,模型还是对应的MLSD。 3.MLSD ...
MLSD Preprocessor 最适合生成强有力的线条,这些线条能够检测出需要独特和刚性轮廓的建筑和其他人造作品。但是它不适用于处理非刚性或弯曲的物体。MLSD适用于生成室内布局或建筑结构,因为它可以突出直线和边缘。用于此预处理器的最佳模型是control_sd15_mlsd。
尝试其他的图像处理方法：如果stable diffusion中的控制网格mlsd预处理无法起作用，可以尝试其他的图像处理...
①在 Controlnet 中点击 Controlnet Unit 0,上传一张 512*768 px 的建筑图片,我们称为主图。勾选启用,预处理器选择 mlsd,并选择对应的 mlsd 模型,以固定图像额主体结构。点击预处理器旁的爆炸小按钮,预览出图效果。 ②点开 Controlnet Unit 1, 上传一张 512*768 px 的霓虹光效图片,称为副图。勾选启用,...
②MLSD 直线边缘 下面我们再来看第二种控图类型:MLSD 直线。MLSD 提取的都是画面中的直线边缘,在下图中可以看到 mlsd(M-LSD 直线线条检测)预处理后只会保留画面中的直线特征,而忽略曲线特征。 因此MLSD 多用于提取物体的线型几何边界,最典型的就是几何建筑、室内设计、路桥设计等领域。