上图由Stable Diffusion生成
一般而言,受到计算机性能的影响,包括受限于大模型底图的分辨率制约,我们生成的图像不适宜设置过高的分辨率,一般都不超过2K。为了能够出「大图」或者修复一些低质量、低分辨率的其他图像,Stable Diffusion中还提供了非常人性化的放大和高清修复功能,这简直是低配用户的福音。Stable Diffusion中进行图像高清修复主要有几种不同的方法和步骤。以下是关于如何使用SD进行高清修复的一些详细步骤和注意事项:
一、高清修复技术原理
目前来说,高清修复通常基于AI技术和计算机图形学,借助工具程序,通过重新绘制图片的细节,进而增加图像分辨率和图像质量来实现。
选择修复方法:高清修复/高分辨率修复;选中图片后,使用软件中相应的功能选项,如「高清修复」或者「高分辨率修复」选项。
图生图:这是SD自带的一个放大方式,原理与高清修复类似,但可能需要通过特定步骤来实现。
插件方法:如Tiled Diffusion和Controlnet Tile模型,这些插件提供了更高级的修复和放大功能。
上图由Stable Diffusion生成
二、具体步骤
高清修复/高分辨率修复: 选中图片,固定seed值,当然这个根据需求来确定,不是必选项。
点击启动「高分辨率修复」或相应选项。根据需要调整参数,如放大算法,一般使用R-ESRGAN 4X+ Anime6b或R-ESRGAN 4X+,此外「重绘幅度」也需要选择合适的数值,这个过程可能会经过反复试验。
图生图: 将图片发送到「图生图」功能;上传低分辨率图片,并设置放大算法,比如R-ESRGAN 4X放大,这里一定要注意「分块重叠像素宽度」的设置,以避免图像分割问题。
插件方法(如Tiled Diffusion和Controlnet Tile模型): 在「图生图」功能中,启用Tiled Diffusion和Tiled VAE插件;控制图片放大尺寸,并设置其他相关参数;使用Controlnet插件时,上传低分辨率图片,同时选中「Tile(分块)」功能;然后适度调整「控制权重」的数值,以获得最佳放大效果。
放大倍数: 输入你希望将图像放大的倍数。这个参数直接决定了最终图像的大小和分辨率,但需要注意数值大小和图像失真度的关系,也就是说并非越大越好,这个也要多注意。
迭代步数(Hires step): 迭代步数是一个关键参数,控制生成过程中的迭代次数,一般而言,更多的迭代步数通常会带来更高的图像质量和细节,但同时也会增加生成时间;一般来说,较少的迭代步数(如50到100)生成速度快但图像细节可能不足;较多的迭代步数(如150到300或更多)生成速度慢但图像细节更丰富。因此,要寻找到最适合图像特点的迭代步数,以达到图像质量和生成效率之间的平衡。
重绘幅度: 用于控制图像重绘的程度,决定了在从噪声图像生成最终图像时,模型对输入提示词的依赖程度;数值「0」意味着没有重绘,即保持原始图像不变;数值「1」则表示完全重绘,即生成的图像完全依赖于提示词,不参考原始图像;可以根据需要调整这个值,以在保持图像原有特征和引入新特征之间找到平衡。
降噪强度(Denoising strength): 反映了最终生成图像与原始输入图像之间的变化程度,当降噪强度较高时,修复后的图像将与原图几乎无关;而降噪强度较低时,修复后的图像会与原图有一定的相关性,因此你可以根据实际需求调整这个值,以获得理想的修复效果。
放大算法: Stable Diffusion内置了多种放大算法供选择使用,如ESRGAN_4x、SwinR 4x等,每种算法都有其特点和适用场景;对于重绘幅度较低的情况,ESRGAN_4x和SwinR 4x算法通常有较好的支持;如果是处理动漫图片,则可以选择R-ESRGAN 4X+Anime6B算法。
工作界面
三、注意事项
涉及到的注意点其实不少,梳理来看主要有:
一是放大倍率。通常可以选择2倍或4倍放大,避免过大导致显存问题。在Stable Diffusion中调整图像放大倍数和迭代步数以获得最佳效果,需要综合考虑多个因素,包括图像内容、计算资源、所需时间以及个人审美偏好等。放大倍数决定了最终图像的尺寸和分辨率。较高的放大倍数可以生成更大尺寸的图像,但同时也可能引入更多的噪声和失真。
二是分辨率设置。确保放大后的图片分辨率与原图宽高比一致,避免变形。
三是算法选择。根据图片类型(如真人或动漫)选择合适的放大算法。
四是显存占用。务必注意显存使用情况,放大处理非常消耗显存空间,一定要避免爆显存情况出现,要理性选择放大倍数。
四、由此引发的出图速度降低问题
Stable Diffusion在开启高清修复功能后,出图速度变慢的原因主要有以下几点:
一是计算模型复杂度增加: 高清修复功能通常涉及更复杂的图像处理算法和更高的计算需求。例如,如果模型增加了更多的网格单元或物理细节,那么计算时间可能会相应增加。这是因为复杂模型需要更多的计算资源来进行求解。
二是计算资源不足: 高清修复功能对计算机硬件资源的要求比较高。如果计算机配置较低,不足以支持这些复杂模型的计算需求,则计算速度就会变慢。
三是迭代步数和重绘幅度: 在Stable Diffusion图像生成模型中,迭代步数和重绘幅度是控制生成速度和图像质量的关键参数。高清修复功能可能需要更多的迭代步数来确保图像质量,同样这也会增加生成时间。同时,重绘幅度也可能调整得更高,以更依赖于输入提示词来生成图像,这同样会增加计算量。
四是图像分割和重建: 高清修复功能可能采用图像分割和重建技术,这些技术将原始图像分割成多个较小的块,对每个块进行单独处理,然后再重新拼接成完整的图像。这个过程会增加计算时间,但可以提高图像质量并减少内存占用。
#Stable Diffusion#AIGC#AI#美女