Stable Diffusion
Cài đặt sử dụng mô hình FLUX
Flux, mô hình text-to-image mã nguồn mở tiên tiến nhất và lớn nhất cho đến nay, được phát triển bởi Black Forest Labs – đội ngũ ban đầu đứng sau Stable Diffusion.
Đây là một mô hình được đánh giá là tốt nhất hiện nay, có thể sánh ngang với Midjourney trong việc tạo ảnh từ text.
Các phiên bản của FLUX:
- FLUX.1 [dev]: Mô hình cơ bản, với giấy phép phi thương mại để cộng đồng có thể phát triển.
- FLUX.1 [schnell]: Một phiên bản tinh gọn của mô hình Dev, hoạt động nhanh hơn đến 10 lần.
- FLUX.1 [pro]: Một phiên bản mã nguồn đóng chỉ có thể truy cập thông qua API.
Yêu cầu phần cứng:
- Để chạy được mô hình này, cần có 12 GB VRAM và khoảng 18 GB RAM hệ thống cũng như khoảng 30GB dung lượng ổ đĩa trống.
Các bước thiết lập và sử dụng FLUX trên ComfyUI các bạn thực hiện theo các bước như sau:
Bước 1. Cài đặt ComfyUI hoặc cập nhật lên phiên bản mới nhất
Bước 2. Tải các file thư viện liên quan:
- Tải file ae.sft từ https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main và lưu vào thư mục ~/ComfyUI/models/vae/
- Tải file flux1-dev.sft (dung lượng 23.8Gb) từ https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main và lưu vào thư mục ~/ComfyUI/models/unet/
- Tải file clip_l.safetensors từ https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main và lưu vào thư mục ~/ComfyUI/models/clip/
- Tải t5xxl_fp8_e4m3fn.safetensors (dung lượng 4.89Gb) từ https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main và lưu vào thư mục ~/ComfyUI/models/clip/
Bước 3. Chỉnh cấu hình ComfyUI (nếu đã có rồi thì bỏ qua)
- Thêm “–lowvram” vào tham số khởi động của ComfyUI trong file run_nvidia_gpu.bat
Bước 4. Tải Workflow:
- Tải file ảnh flux_dev_example.png chứa workflow, lưu về máy để load lên ComfyUI https://github.com/comfyanonymous/ComfyUI_examples/blob/master/flux/flux_dev_example.png
- Khởi động ComfyUI, Nhấp vào “Load” và tải file flux_dev_example.png ở trên
Bước 4. Thiết lập thông số
Tại node “Load Diffusion Model” thiết lập “weight type” thành “fp8-e4m3fn”
- Tìm node “DualClipLoader” thiết lập “clip_name1” thành “t5xxl_fp8_e4m3fn.safetensors”
- Nhấp vào “queue prompt” (hoặc thay đổi prompt trước đó trong nút “CLIP Text Encode (Prompt)”)
Chi tiết video hướng dẫn