[StaD] LCM 減少step/加速生成

LCM (Latent Consistency Model) https://github.com/luosiallen/latent-consistency-model 這東西好像兩個禮拜前被丟出來 前天SD.Next的DC公告說正式支援後才玩看看 主要賣點是生成同樣品質的圖只需要4-8步(Steps) 如此一來可以大大加速整個產圖速度，進階大概就搭配正夯的AnimateDiff弄出更多FPS 或者用攝影鏡頭的即時影像轉換可以更流暢 目前是弄成LoRa型式， 或者要自行把把LoRa整合進model轉換成LCM model SD1.5 LoRA https://huggingface.co/latent-consistency/lcm-lora-sdv1-5/tree/main SDXL LoRA https://huggingface.co/latent-consistency/lcm-lora-sdxl/blob/main/README.md 不管SD1.5或SDXL都說Step 2-8內就可以，不過CFG要限制在1-2內 CFG 1會忽略negative prompt, 2以上圖會焦掉，實際跑大概到3而已 SDXL可以搭配他們的Sampler LCM SD1.5的測試 T2I原圖 Steps: 20, Sampler: DPM++ 2M, CFG scale: 8, Size: 512x832, Model: meinapastel_v6Pastel 使用ControlNet+ Latent couple+ Composable LoRA https://i.imgur.com/3OFIvOT.jpg 加入LCM LoRA 權重設0.5。 因為太高的權重會讓一些model脫色，例如這個meinapastel 設1的話，出來就會帶點藍色濾鏡感覺 把所有extension後測CFG 1-3, Step 4-8 https://i.imgur.com/6vSBkZR.jpg 固定CFG2 Step8 測所有的Sampler https://i.imgur.com/8Oo8pAI.jpg 採樣器 Euler跟LMS都不錯 跟原圖一樣上ControlNet+ Latent couple+ Composable LoRA Sampler: Euler https://i.imgur.com/eXuHSeJ.jpg 用是可以用，只是要重找喜歡的Seed了XD 另外如果再加上 HiRES 用latent放大會變成油畫 HiRES step 4-12都長這樣 https://i.imgur.com/BNtsRpi.jpg SDXL測試 T2I原圖 Steps: 30, Sampler: DPM++ 2M, CFG scale: 7, Size: 1024x1536, Model: holoanimeXL_v27 https://i.imgur.com/OzwV4ll.jpg 高CFG直接焦掉 https://i.imgur.com/KzIjjJp.jpg CFG:2 Step:8 測不同Sampler https://i.imgur.com/90jFhaQ.jpg 這是推薦的採樣器 LCM https://i.imgur.com/mHJrx6M.jpg 這是Euler https://i.imgur.com/MZrzM5W.jpg 去除LCM LoRA後一樣用Euler跑 https://i.imgur.com/01c54Zv.jpg 老實說我感覺不到推薦的LCM採樣器優勢在哪... 一樣少步數下Euler或者DPM SDE都比較好 速度看CMD視窗跑調後的數字是一樣 不過LCM LoRA在低步數下的確是提供比較好的圖 CFG:2 Steps:8 Euler https://i.imgur.com/VVCDMlR.jpg 可以跟上面30 step的原圖比看看值不值得 HiRES下的原圖 HiRES steps: 15, Latent (nearest-exact), Hires upscale: 1.5, Latent sampler: DPM SDE https://i.imgur.com/neuYlWm.jpg HiRES Step: 8, Latent, Hires upscale: 1.5, Latent sampler: LCM, https://i.imgur.com/2r32RlU.jpg Hires下的第二步Latent作圖就沒有加速了，一樣慢 感覺這東西還是給動畫去加速用之類 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 218.161.113.223 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/AI_Art/M.1699781169.A.291.html