在本地安裝 Flux-ChatGPT Ghibli LoRA 的詳細指南

,
1

Step by Step Flux-ChatGPT Ghibli LoRA installation guide

在本地安裝 Flux-ChatGPT Ghibli LoRA 的詳細指南

吉卜力工作室的懷舊藝術風格吸引了全球觀眾，許多人渴望在自己的圖像中重現這種魔力。雖然 ChatGPT 等高級 AI 模型能夠生成吉卜力風格的圖像，但目前這項功能僅向付費會員開放。然而，開源社群已經推出了一個引人注目的替代方案 - “Flux-ChatGPT Ghibli LoRA”，這是一個基於 Black Forest Labs 的 FLUX.1-dev 基礎模型訓練的開源圖像生成模型，讓您能夠免費創作令人驚艷的吉卜力風格圖像。

系統需求

在開始安裝前，請確保您的系統滿足以下最低要求：

硬體需求 建議規格
GPU RTX A6000 或同等級（如 RTX 5070Ti、RTX 4060 等）
顯示卡記憶體 (VRAM) 至少 16GB（對於完整體驗）
儲存空間 至少 100GB
RAM 32GB 或以上

如果您的顯示卡 VRAM 較少（例如 8GB），您可能需要使用較小的模型或考慮雲端 GPU 解決方案。

安裝步驟

方法一：使用 Python 和 diffusers 庫（適合有程式設計經驗的用戶）

  1. 安裝 Python 環境

    首先，您需要安裝 Miniconda 來管理 Python 環境：

    wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

    安裝完成後，創建並啟動一個新的環境：

    conda create -n flux python=3.11 -y && conda activate flux

  2. 安裝必要的依賴項

    pip install torch torchvision torchaudio einops timm pillow
pip install git+https://github.com/huggingface/transformers
pip install git+https://github.com/huggingface/accelerate
pip install git+https://github.com/huggingface/diffusers
pip install huggingface_hub
pip install sentencepiece bitsandbytes protobuf decord numpy
pip install peft

  3. 安裝 Hugging Face CLI 並登入

    pip install -U "huggingface_hub[cli]"
huggingface-cli login --token=<YOUR_HF_TOKEN>

    請注意，您需要從 Hugging Face 網站獲取個人訪問令牌。

  4. 下載和運行模型

    創建一個 Python 文件，例如 generate_ghibli.py，內容如下：

    from diffusers import AutoPipelineForText2Image
import torch

pipeline = AutoPipelineForText2Image.from_pretrained('black-forest-labs/FLUX.1-dev', torch_dtype=torch.bfloat16).to('cuda')
pipeline.load_lora_weights('openfree/flux-chatgpt-ghibli-lora', weight_name='flux-chatgpt-ghibli-lora.safetensors')

image = pipeline("ghibli style image of a boy and a girl looking out of a window with a cat perched on the window sill. There is a bicycle parked in front of them and a plant with flowers to the right side of the image.").images[0]
image.save("my_ghibli_image.png")

    運行此腳本：

    python generate_ghibli.py

方法二：使用 ComfyUI（適合新手用戶）

ComfyUI 提供了一個更友好的圖形介面，便於使用者創建圖像生成工作流。

  1. 安裝 Stability Matrix

    Stability Matrix 是一個管理 AI 圖像生成工具的應用程序，對新手特別友好。從 GitHub 下載並安裝。

  2. 安裝 ComfyUI

    通過 Stability Matrix 安裝 ComfyUI，它會自動處理所有依賴項和路徑設置。

  3. 下載 FLUX 模型和 Ghibli LoRA

  4. 將模型文件放入正確位置

    使用 Stability Matrix 時，它會自動幫您管理模型文件路徑。您只需通過其界面將下載的文件導入即可。

  5. 建立生成工作流

    在 ComfyUI 中，您需要創建一個工作流來載入模型、應用 LoRA 並生成圖像。基本工作流程包括：

    • 載入 FLUX.1-dev 基礎模型
    • 載入 Ghibli LoRA
    • 設置文本提示（必須包含 “ghibli” 關鍵詞）
    • 配置生成參數
    • 運行生成過程

方法三：使用 Web UI 和 Gradio GUI

  1. 克隆 Flux WebUI 儲存庫

    git clone https://github.com/pinokiofactory/flux-webui.git && cd flux-webui

  2. 安裝依賴項

    pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 xformers --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt

  3. 下載所需模型

    按照 WebUI 中的指示下載模型，或手動將之前下載的模型文件放入相應目錄。

  4. 啟動 WebUI

    python app.py

  5. 通過瀏覽器訪問界面並開始生成圖像

使用提示和技巧

  1. 提示詞建議

    • 始終在提示詞中包含 “ghibli” 關鍵詞來觸發 LoRA 功能
    • 提供詳細的場景描述以獲得最佳效果
    • 例如：「ghibli style image of a countryside road with trees and a small house in the distance」

  2. 進階技巧

    • 嘗試使用深度圖控制層來改善圖像生成結果
    • 對於人物肖像，考慮結合其他控制網絡（如 OpenPose）以獲得更好的姿勢控制
    • 使用 img2img 處理可以在保持原始圖像結構的同時應用吉卜力風格

  3. 解決常見問題

    • 如果生成的圖像不符合預期，嘗試調整權重參數
    • 對於人臉識別問題，可能需要額外的 LoRA 或控制網絡
    • 如果遇到 VRAM 不足的錯誤，嘗試降低生成圖像的尺寸或使用專門為低 VRAM 設計的方法

替代方案

如果您不想在本地安裝和設置這些模型，也可以考慮以下替代方案：

  1. 使用雲端 GPU 服務

    • NodeShift 提供經濟實惠的 GPU 出租服務
    • 也可以考慮其他雲端 GPU 提供商

  2. 使用在線服務

結論

通過本指南，您應該能夠在本地成功安裝和運行 Flux-ChatGPT Ghibli LoRA 模型來生成吉卜力風格的圖像。隨著開源社群的不斷發展，我們可以期待更多創新的模型和工具出現，為創意表達提供更多可能性。

無論您是選擇在本地運行還是使用雲端服務，Flux-ChatGPT Ghibli LoRA 都為您提供了一個強大且經濟實惠的方式來創建具有吉卜力風格的圖像，而無需依賴付費服務。隨著您對這些工具的熟悉，您可以開始探索更複雜的圖像生成技術和風格轉換方法，進一步拓展您的創意邊界。