當前位置: 華文世界 > 科技

第二十六章:Stable Diffusion高畫質修復如何使用?

2024-07-29科技

上圖由Stable Diffusion生成

一般而言,受到電腦效能的影響,包括受限於大模型底圖的分辨率制約,我們生成的影像不適宜設定過高的分辨率,一般都不超過2K。為了能夠出「大圖」或者修復一些低質素、低分辨率的其他影像,Stable Diffusion中還提供了非常人性化的放大和高畫質修復功能,這簡直是低配使用者的福音。Stable Diffusion中進行影像高畫質修復主要有幾種不同的方法和步驟。以下是關於如何使用SD進行高畫質修復的一些詳細步驟和註意事項:

一、高畫質修復技術原理

目前來說,高畫質修復通常基於AI技術和電腦圖形學,借助工具程式,透過重新繪制圖片的細節,進而增加影像分辨率和影像質素來實作。

選擇修復方法:高畫質修復/高分辨率修復;選中圖片後,使用軟件中相應的功能選項,如「高畫質修復」或者「高分辨率修復」選項。

圖生圖:這是SD內建的一個放大方式,原理與高畫質修復類似,但可能需要透過特定步驟來實作。

外掛程式方法:如Tiled Diffusion和Controlnet Tile模型,這些外掛程式提供了更高級的修復和放大功能。

上圖由Stable Diffusion生成

二、具體步驟

高畫質修復/高分辨率修復: 選中圖片,固定seed值,當然這個根據需求來確定,不是必選項。

點選啟動「高分辨率修復」或相應選項。根據需要調整參數,如放大演算法,一般使用R-ESRGAN 4X+ Anime6b或R-ESRGAN 4X+,此外「重繪振幅」也需要選擇合適的數值,這個過程可能會經過反復試驗。

圖生圖: 將圖片發送到「圖生圖」功能;上傳低分辨率圖片,並設定放大演算法,比如R-ESRGAN 4X放大,這裏一定要註意「分塊重疊像素寬度」的設定,以避免影像分割問題。

外掛程式方法(如Tiled Diffusion和Controlnet Tile模型): 在「圖生圖」功能中,啟用Tiled Diffusion和Tiled VAE外掛程式;控制圖片放大尺寸,並設定其他相關參數;使用Controlnet外掛程式時,上傳低分辨率圖片,同時選中「Tile(分塊)」功能;然後適度調整「控制權重」的數值,以獲得最佳放大效果。

放大倍數: 輸入你希望將影像放大的倍數。這個參數直接決定了最終影像的大小和分辨率,但需要註意數值大小和影像失真度的關系,也就是說並非越大越好,這個也要多註意。

叠代步數(Hires step): 叠代步數是一個關鍵參數,控制生成過程中的叠代次數,一般而言,更多的叠代步數通常會帶來更高的影像質素和細節,但同時也會增加生成時間;一般來說,較少的叠代步數(如50到100)生成速度快但影像細節可能不足;較多的叠代步數(如150到300或更多)生成速度慢但影像細節更豐富。因此,要尋找到最適合影像特點的叠代步數,以達到影像質素和生成效率之間的平衡。

重繪振幅: 用於控制影像重繪的程度,決定了在從雜訊影像生成最終影像時,模型對輸入提示詞的依賴程度;數值「0」意味著沒有重繪,即保持原始影像不變;數值「1」則表示完全重繪,即生成的影像完全依賴於提示詞,不參考原始影像;可以根據需要調整這個值,以在保持影像原有特征和引入新特征之間找到平衡。

降噪強度(Denoising strength): 反映了最終生成影像與原始輸入影像之間的變化程度,當降噪強度較高時,修復後的影像將與原圖幾乎無關;而降噪強度較低時,修復後的影像會與原圖有一定的相關性,因此你可以根據實際需求調整這個值,以獲得理想的修復效果。

放大演算法: Stable Diffusion內建了多種放大演算法供選擇使用,如ESRGAN_4x、SwinR 4x等,每種演算法都有其特點和適用場景;對於重繪振幅較低的情況,ESRGAN_4x和SwinR 4x演算法通常有較好的支持;如果是處理動漫圖片,則可以選擇R-ESRGAN 4X+Anime6B演算法。

工作界面

三、註意事項

涉及到的註意點其實不少,梳理來看主要有:

一是放大倍率。通常可以選擇2倍或4倍放大,避免過大導致視訊記憶體問題。在Stable Diffusion中調整影像放大倍數和叠代步數以獲得最佳效果,需要綜合考慮多個因素,包括影像內容、計算資源、所需時間以及個人審美偏好等。放大倍數決定了最終影像的尺寸和分辨率。較高的放大倍數可以生成更大尺寸的影像,但同時也可能引入更多的雜訊和失真。

二是分辨率設定。確保放大後的圖片分辨率與原圖寬高比一致,避免變形。

三是演算法選擇。根據圖片類別(如真人或動漫)選擇合適的放大演算法。

四是視訊記憶體占用。務必註意視訊記憶體使用情況,放大處理非常消耗視訊記憶體空間,一定要避免爆視訊記憶體情況出現,要理性選擇放大倍數。

四、由此引發的出圖速度降低問題

Stable Diffusion在開啟高畫質修復功能後,出圖速度變慢的原因主要有以下幾點:

一是計算模型復雜度增加: 高畫質修復功能通常涉及更復雜的影像處理演算法和更高的計算需求。例如,如果模型增加了更多的網格單元或物理細節,那麽計算時間可能會相應增加。這是因為復雜模型需要更多的計算資源來進行求解。

二是計算資源不足: 高畫質修復功能對電腦硬件資源的要求比較高。如果電腦配置較低,不足以支持這些復雜模型的計算需求,則計算速度就會變慢。

三是叠代步數和重繪振幅: 在Stable Diffusion影像生成模型中,叠代步數和重繪振幅是控制生成速度和影像質素的關鍵參數。高畫質修復功能可能需要更多的叠代步數來確保影像質素,同樣這也會增加生成時間。同時,重繪振幅也可能調整得更高,以更依賴於輸入提示詞來生成影像,這同樣會增加計算量。

四是影像分割和重建: 高畫質修復功能可能采用影像分割和重建技術,這些技術將原始影像分割成多個較小的塊,對每個塊進行單獨處理,然後再重新拼接成完整的影像。這個過程會增加計算時間,但可以提高影像質素並減少記憶體占用。

#Stable Diffusion#AIGC#AI#美女