在Mac上運行LoRA生成圖片的完整指南

1

在Mac上運行LoRA生成圖片的完整指南

在人工智慧快速發展的今天，生成式AI藝術已成為許多創作者的工具。對於Mac用戶來說，特別是Apple Silicon系列的擁有者，本文將詳細介紹如何設置和使用LoRA模型來生成精美圖片。

什麼是LoRA模型？

LoRA (Low-Rank Adaptation) 是一種用於高效微調大型模型的技術。在Stable Diffusion中，LoRA可被視為「風格濾鏡」，能夠顯著改變生成圖像的風格和特徵，而無需更改整個基礎模型。

LoRA的主要優勢包括：

  • 檔案體積小（通常僅幾百MB，而完整模型檔案動輒2-7GB）
  • 可在生成過程中疊加多種風格
  • 資源需求較低，更適合Mac等硬體

在Mac上安裝Stable Diffusion並支援LoRA

系統要求

  • Apple Silicon Mac (M1/M2/M3系列)
  • 最少16GB統一內存（建議24GB或更高）
  • 足夠的儲存空間（至少10GB）

安裝步驟

  1. 安裝基本依賴

    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
brew install cmake protobuf rust git wget python@3.10

  2. 克隆並安裝Stable Diffusion WebUI

    AUTOMATIC1111的WebUI是最受歡迎的方案：

    git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd stable-diffusion-webui
./webui.sh

  3. 為Mac優化配置

    在首次運行後，編輯webui-user.sh文件，添加以下參數：

    export COMMANDLINE_ARGS="--no-half --precision full --skip-torch-cuda-test --use-cpu all --api"

    對於Apple Silicon，確保使用MPS加速：

    export COMMANDLINE_ARGS="--no-half --precision full --skip-torch-cuda-test --use-cpu all --api --device mps"

獲取並安裝LoRA模型

  1. 下載LoRA模型

  2. 安裝LoRA模型

    • 將下載的LoRA檔案（通常是.safetensors或.pt檔案）放入stable-diffusion-webui/models/Lora目錄
    • 重啟WebUI或點擊介面中的「Refresh」按鈕以載入新模型

在Mac上使用LoRA生成圖片

  1. 基本使用方法

    • 在WebUI的LoRA標籤中選擇您想要使用的LoRA模型
    • 或直接在提示詞中加入：<lora:模型名稱:權重>
    • 權重值控制LoRA效果的強度，通常在0.5-1之間，較高數值效果更明顯

  2. 優化生成速度的技巧

    • 使用LCM (Latent Consistency Model) LoRA可大幅加速生成過程
    • 設置方法：下載LCM LoRA，並在提示詞中加入<lora:LCM_LoRA_SD15:0.4-0.6>
    • 同時將Sampling Steps設置為4步，CFG Scale降至1.5

  3. 多個LoRA組合使用

    • 可在提示詞中同時添加多個LoRA模型
    • 例如：<lora:模型A:0.7> <lora:模型B:0.3>
    • 調整各LoRA的權重比例可實現混合效果

Mac性能優化建議

  1. 降低解析度

    • 對於性能受限的Mac，考慮使用較低解析度（如256x256或512x512）
    • miniSD模型配合SD1.5 LCM LoRA可提供最快的生成速度

  2. 選擇合適的基礎模型

    • SD1.5模型在Mac上性能更好，M1 Pro可達到2.6秒/迭代
    • SDXL模型需要量化才能在8GB內存的Mac上運行，速度約為25秒/迭代

  3. 記憶體管理

    • 在WebUI中開啟「Memory Efficient Attention」選項
    • 減少批次大小（Batch Size）和生成步數（Steps）
    • 避免使用過多插件和擴展

  4. 專為Mac優化的應用

    • 考慮使用DrawThings.ai等專為Mac優化的應用
    • 這些應用針對Metal性能優化，運行更流暢

實際性能數據

根據實際測試數據：

  • M1 Pro (8GB RAM)：處理512x512圖像約2.6秒/迭代，使用基本工作流程
  • M1 Pro (32GB RAM)：使用LCM LoRA生成512x512圖像只需4秒完成4步生成
  • M2 Max：LoRA訓練速度約5.00s/it（32張圖像/20重複/10輪訓練/尺寸：256）

常見問題解決

  1. 模型載入失敗

    • 檢查模型是否與您的Stable Diffusion版本兼容
    • 嘗試使用–medvram或–lowvram參數啟動WebUI

  2. 生成圖像全黑

    • 檢查是否正確安裝了PyTorch的MPS版本
    • 降低LoRA權重，過高權重可能導致生成問題

  3. 速度過慢

    • 嘗試使用LCM LoRA加速生成過程
    • 減少Steps數量，增加使用LCM LoRA時可設置為4-8步

最簡單的方式在Mac上安裝AUTOMATIC1111

對於初學者，這裡提供一個簡化的AUTOMATIC1111安裝步驟：

系統需求

  • Apple Silicon Mac（M1或M2/M3），至少8GB RAM（建議16GB以上）
  • MacOS版本至少為12.3
  • 約10GB儲存空間

安裝步驟

  1. 安裝Homebrew

    /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
echo 'eval $(/opt/homebrew/bin/brew shellenv)' >> ~/.zprofile
eval $(/opt/homebrew/bin/brew shellenv)

  2. 安裝必要依賴項

    brew install python@3.10 git wget

  3. 克隆AUTOMATIC1111的WebUI倉庫

    git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd stable-diffusion-webui

  4. 啟動WebUI

    ./webui.sh --no-half --use-cpu all --device mps

測試WebUI

在瀏覽器訪問：http://127.0.0.1:7860/，輸入提示詞進行測試。

RTX 5090 與 M4 Max 128GB 在運行 Stable Diffusion 的性能比較

當比較NVIDIA的旗艦級顯卡RTX 5090與Apple的高端M4 Max 128GB在Stable Diffusion生成圖像方面的性能時，兩者之間存在顯著差距。

生成速度比較

RTX 5090 性能數據：

  • 標準 Stable Diffusion 1.5 (FP16)：每張圖像約0.763秒
  • 使用 INT8 優化的 SD 1.5：每張圖像約0.394秒
  • SDXL (FP16)：每張圖像約5.223秒
  • 與 RTX 4090 相比，提升約30-40%

M4 Max 128GB 性能數據：

  • 標準 SDXL：每張圖像約22-24秒
  • Flux模型：每張圖像約2-2.5分鐘
  • SD 3.5和其他較新模型：每張圖像約3-4分鐘

性能差距分析

  1. 原始速度比較：

    • 在SDXL生成方面，RTX 5090 (5.223秒) 比 M4 Max (22-24秒) 快約4-5倍
    • 對於更複雜的模型如Flux，RTX 5090與M4 Max的差距更大

  2. 效率與功耗：

    • RTX 5090峰值功耗高達600W，但由於處理速度快，總體能耗可能更低
    • M4 Max在生成圖像時電池續航僅約40-60分鐘，需要插電使用以獲得最佳性能

  3. 記憶體優勢：

    • M4 Max的128GB統一記憶體允許運行更大的模型
    • 然而，NVIDIA的記憶體架構和優化在AI工作負載方面更高效

特定模型表現

  1. Flux模型：

    • M4 Max：每張圖像約2-2.5分鐘
    • RTX 5090：使用TensorRT優化後，每張圖像約3.38秒
    • 差距：RTX 5090快約40-45倍

  2. SDXL Lightning模型：

    • M4 Max：每張圖像不到8秒
    • 這是M4 Max上表現最好的模型之一

實用建議

  1. 對於專業AI圖像生成：

    • 如果圖像生成是主要工作負載，RTX 5090或4090是明顯更好的選擇
    • 即使是RTX 4070也能提供比M4 Max更快的性能

  2. 對於需要Mac生態系統的用戶：

    • 使用SDXL Lightning等優化模型可在M4 Max上獲得合理的性能
    • 考慮將Mac用於日常工作，並使用雲服務或單獨的PC進行密集的AI圖像生成

  3. 混合工作流程：

    • 對於同時需要Mac生態系統和高效AI生成的用戶，可考慮使用M4 Max進行攝影、設計等工作，同時使用單獨的NVIDIA系統進行AI圖像生成

現實示例：使用LCM LoRA的配置

以下是使用LCM LoRA在M1 Mac上生成圖像的完整配置示例：

  • 模型：任何SD 1.5基礎模型
  • 提示詞：(masterpiece, best quality), 1girl, solo, outdoors, <lora:LCM_LoRA_SD15:0.5>
  • 負面提示詞：lowres, bad anatomy, worst quality, text
  • 採樣方法：Euler a
  • 採樣步數：4
  • CFG Scale：1.5
  • 尺寸：512 x 512

此配置在標準M1 Mac上僅需約4秒即可生成一張圖像，相比標準的20-40步生成過程快10倍以上。

讓您的AI創作力更上一層樓

無論您是專業設計師、創意工作者還是AI藝術愛好者，掌握在Mac上使用LoRA技術都能大幅提升您的創作效率。需要專業的AI解決方案來優化您的創意工作流程嗎？Tenten.co專精於AI技術整合與數位轉型服務，能為您提供量身定制的解決方案，從AI圖像生成到完整的數位行銷策略。立即預約免費諮詢，讓我們的專家團隊幫助您在AI時代保持競爭力！