TURBO Face Swapping với ComfyUI và SDXL
Ghi chú insight YouTube này được tạo bằng LilysAI. Đăng ký miễn phí để nhận insight nhanh hơn 10× và sâu hơn từ video.
Q: Làm thế nào để thực hiện hoán đổi khuôn mặt TURBO bằng ComfyUI và SDXL?
Sử dụng workflow trong ComfyUI với các mô hình turbo (như `reties Edge XL LCM plus sdxl turbo`) và custom node `reactor`, cùng với các mô hình khôi phục khuôn mặt để tạo ra hình ảnh hoán đổi khuôn mặt chất lượng cao và nhanh chóng.
Q: Làm thế nào để thay đổi nhiều khuôn mặt trong một ảnh?
Thay đổi giá trị `input faces index` trong node `reactor` thành các chỉ số khuôn mặt mong muốn, ví dụ: `0, 1, 2` để hoán đổi khuôn mặt thứ 0, 1 và 2.
Khám phá quy trình hoán đổi khuôn mặt TURBO cực nhanh trong ComfyUI, sử dụng mô hình SDXL Turbo và node tùy chỉnh Reactor. Bạn sẽ học cách tạo ra các hình ảnh face swap chất lượng cao chỉ trong 10 bước, bao gồm cả việc xử lý nhiều khuôn mặt và khắc phục lỗi pixelation bằng face restoration. Đây là hướng dẫn thực tế để tạo ra nội dung AI sáng tạo, nhanh chóng và dễ dàng.
1. Giới thiệu Quy trình Hoán đổi Khuôn mặt TURBO trong ComfyUI
- Mục tiêu: Video này sẽ trình bày một quy trình làm việc thú vị trong ComfyUI để tạo ra hình ảnh hoán đổi khuôn mặt (face swap) một cách siêu nhanh.
- Quy trình này sử dụng các mô hình turbo và node tùy chỉnh Reactor của ComfyUI.
- Liên kết đến quy trình làm việc đã được cung cấp trong mô tả.
2. Thiết lập Quy trình làm việc và Cấu hình Mô hình
2.1. Tổng quan về Quy trình làm việc và Mô hình
- Quy trình làm việc được thiết kế để dễ sử dụng, không phải để thể hiện luồng logic gọn gàng.
- Mô hình đang sử dụng: Reali-ESRGAN XL LCM + SDXL Turbo.
- Mô hình này tạo ra hình ảnh tuyệt vời chỉ trong 10 bước với CFG rất thấp.
- Có nhiều mô hình XL turbo mới đang ra mắt, mỗi mô hình có phong cách khác nhau.
2.2. Cấu hình Cài đặt Chính
- Mô hình đã được tải trong checkpoint ở góc trên bên trái.
- Có một vị trí cho negative prompt, nhưng thường không được sử dụng cho bài tập này.
- Bước (Steps) trong bộ lập lịch turbo được đặt thành 10.
- Kích thước (Width/Height) được đặt là 768 x 1104.
- Bộ lấy mẫu (Sampler) được đặt là Euler ancestral.
- Node Reactor: Cần phải cài đặt node tùy chỉnh Reactor.
- Nếu nhận được thông báo lỗi, hãy sử dụng ComfyUI manager để cài đặt các node bị thiếu.
2.3. Tầm quan trọng của Phục hồi Khuôn mặt (Face Restoration)
- Kỹ thuật này hoạt động tốt nhờ việc sử dụng các mô hình Phục hồi Khuôn mặt.
- Người hướng dẫn gặp khó khăn khi mô hình phục hồi khuôn mặt không được tìm thấy trong menu thả xuống.
- Việc cài đặt mô hình qua Comfy UI manager không đặt chúng đúng chỗ.
- Cần phải tìm và đặt các mô hình này thủ công vào đúng vị trí.
- Cảnh báo: Nếu không chọn mô hình phục hồi khuôn mặt, kết quả sẽ bị pixelated.
- Sau khi chọn mô hình phục hồi khuôn mặt, các cài đặt khác được giữ nguyên.
- Cài đặt input faces index có thể được điều chỉnh sau.
2.4. Cài đặt Cuối cùng và Chuẩn bị
- Seed: Chỉ thay đổi seed để tạo ra nhiều lần lặp lại nhanh chóng với phong cách tương tự.
- CFG scale: Đặt ở mức hai (giá trị khởi đầu tốt).
- Positive prompt được đặt ở đây.
- Image for face swap (Hình ảnh nguồn) nằm ở phía trên.
3. Thử nghiệm Mô hình Turbo và Kích hoạt Face Swap
- Để xem mô hình hoạt động, người hướng dẫn sẽ bỏ qua (bypass) node Reactor.
- Thiết lập Tự động Hàng đợi (Auto Queue):
- Nhấp vào extra options và chọn auto queue.
- Điều này sẽ lặp lại prompt vào hệ thống.
- Đảm bảo trong sampler custom, control after generate được đặt thành fixed.
- Prompt ban đầu: "50-year-old man wearing a casual outfit at the park at golden hour."
- Sau khi nhấp vào queue prompt, hình ảnh người đàn ông trong công viên được tạo ra chỉ trong 10 bước.
- Tốc độ tạo ảnh: Khi thay đổi prompt thành "sitting on a bench," hình ảnh được cập nhật rất nhanh.
- Luồng dữ liệu: Hình ảnh được tạo ra từ prompt sẽ được đưa vào node Reactor, hoán đổi với khuôn mặt nguồn, và xuất ra.
- Kích hoạt Face Swap: Bỏ bypass node Reactor.
- Khuôn mặt được hoán đổi chỉ trong vài giây.
- Tạo biến thể nhanh: Nhấp vào mũi tên bên cạnh noise seed để tăng dần, nhanh chóng tạo ra hình ảnh mới và thay thế khuôn mặt.
4. Quy trình Hoán đổi Khuôn mặt với Hình ảnh Nguồn Bên ngoài
4.1. Tìm kiếm Hình ảnh Nguồn (Liam Neeson)
- Để thấy rõ hơn, người hướng dẫn tìm kiếm khuôn mặt dễ nhận biết hơn, ví dụ Liam Neeson.
- Mẹo bản quyền: Trong Google Images, nhấp vào tools, usage rights, và chọn creative commons licenses.
- Chọn một hình ảnh đại diện cho khuôn mặt.
- Cách 1: Kéo và Thả (Drag and Drop):
- Kéo hình ảnh từ Google Images sang tab ComfyUI.
- Kéo trực tiếp vào source image.
- Hình ảnh sẽ được cập nhật và hoán đổi khuôn mặt trong vài giây.
4.2. Cách 2: Sử dụng Clipboard (Robert De Niro)
- Tìm kiếm Robert De Niro với giấy phép Creative Commons và chọn ảnh chính diện.
- Lưu ý: Phương pháp này chỉ hoạt động với trình duyệt Opera.
- Quy trình Clipboard:
- Nhấp chuột phải vào ảnh, chọn Copy Image.
- Chuyển sang tab ComfyUI.
- Nhấp vào nút choose file to upload.
- Hình ảnh trong clipboard sẽ xuất hiện ở trên cùng.
- Chọn ảnh đó, và khuôn mặt sẽ được hoán đổi ngay lập tức.
- Thay đổi Prompt: Đặt Robert De Niro vào bối cảnh mới: "sitting in a smoky bar with a glass of wine, a jukebox in the background."
- Khi gõ, hình ảnh xem trước được tạo và khuôn mặt được đặt lên ngay lập tức.
5. Thử nghiệm với Các Phong cách và Khuôn mặt Khác nhau
- Thay đổi Phong cách (Cyberpunk Mage):
- Sao chép prompt từ trang mẫu mô hình Reality's Edge XL: "a woman, mage, cyberpunk armor, undefined."
- Dán prompt vào.
- Khuôn mặt Robert De Niro không phù hợp.
- Hoán đổi Khuôn mặt Nữ (Jennifer Lawrence):
- Tìm kiếm Jennifer Lawrence (tóc vàng) với giấy phép Creative Commons.
- Kéo và thả ảnh.
- Khuôn mặt được hoán đổi.
- Chất lượng Hình ảnh:
- Quá trình này không tức thì như demo 512x512, vì đang sử dụng độ phân giải cao (768x11xx).
- Hình ảnh có độ nét cao, được tạo ra chỉ trong 10 bước.
- Sử dụng để "Làm sạch" Khuôn mặt AI (Betty White):
- Thử prompt mới, ví dụ "old lady."
- Kết quả hoán đổi khuôn mặt ban đầu không hoàn hảo.
- Thay đổi prompt thành Betty White.
- Các mô hình thường không được đào tạo cụ thể về diễn viên, nên khuôn mặt AI có thể chỉ gần giống.
- Sau khi thực hiện face replacement bằng ảnh thật, khuôn mặt Betty White trở nên rõ ràng.
- Đây là cách để làm sạch các khuôn mặt do AI tạo ra mà không cần mô hình Lora riêng.
- Minh họa Tác dụng của GAN (Face Restoration):
- Tắt mô hình GAN (Face Restoration).
- Kết quả không có GAN bị pixelation rõ rệt.
- Bật lại GAN tạo ra sự khác biệt lớn, rất đáng để thực hiện.
6. Xử lý Nhiều Khuôn mặt và Chỉ số Khuôn mặt
- Thử nghiệm Đa Khuôn mặt: Prompt "Betty White dressed as Wonder Woman."
- Kết quả là một phiên bản trẻ hơn. Thêm "white hair or gray hair."
- Lỗi Hoán đổi Khuôn mặt: Khuôn mặt không được hoán đổi vì hệ thống tìm thấy một khuôn mặt khác trước.
- Chỉ số Khuôn mặt (Input Faces Index):
- Hộp input faces index xác định khuôn mặt nào trong ảnh sẽ được thay thế.
- Nó hoạt động từ trái sang phải.
- Khuôn mặt đầu tiên là face zero (0).
- Khắc phục Lỗi:
- Trong ảnh, người đàn ông ở phía trước là face 0.
- Khuôn mặt tiếp theo (Wonder Woman) là face 1.
- Người hướng dẫn thử đặt chỉ số là 1, nhưng vẫn không hoạt động.
- Sau khi kiểm tra kỹ, có một khuôn mặt nhỏ bị phát hiện (face 1), nên khuôn mặt Wonder Woman là face 2.
- Đặt chỉ số thành 2 và Betty White xuất hiện.
- Hoán đổi Nhiều Khuôn mặt:
- Để thay đổi tất cả các khuôn mặt, sử dụng chỉ số phân tách bằng dấu phẩy (ví dụ:
0, 1, 2). - Thử prompt "Betty White and her sister" để tạo hai khuôn mặt.
- Vì chỉ có hai khuôn mặt được phát hiện, và chỉ số bắt đầu từ 0, cần đặt là 0, 1.
- Cả hai khuôn mặt đều được hoán đổi thành Betty White (phiên bản trẻ và già).
- Ví dụ khác: Betty White bán kem hoặc ôm chó con.
- Để thay đổi tất cả các khuôn mặt, sử dụng chỉ số phân tách bằng dấu phẩy (ví dụ:
7. Ứng dụng Thực tế và Kết luận
- Thử nghiệm Khuôn mặt Nam (William H. Macy):
- Prompt mới: "Old man with messy hair, a scruffy beard, torn clothes in an alley with a broken leather belt, holding a cat."
- Khuôn mặt Betty White không phù hợp.
- Tìm kiếm William H. Macy (kiểm tra giấy phép).
- Kéo và thả ảnh.
- Khuôn mặt được hoán đổi hoàn hảo.
- Thay đổi Prompt trong Thời gian Thực:
- Thay "kitten" bằng "ukulele."
- Thay "alley" bằng "sitting with a family on Christmas morning."
- Face swapping diễn ra trong thời gian thực khi gõ.
- Xử lý Khuôn mặt Gia đình:
- Thêm nhấn mạnh "with a family."
- Hệ thống thêm trẻ em, nhưng vì chỉ số vẫn là
0, 1, cô bé cũng bị hoán đổi khuôn mặt thành William H. Macy. - Để khắc phục, chỉ cần bỏ chỉ số
0(chỉ giữ lại1) để cô bé giữ khuôn mặt gốc.
- Lợi ích của Seed Cố định:
- Với seed cố định, có thể lặp lại trên cùng một hình ảnh.
- Thử thay đổi prompt thành "Smiling old man."
- Thử thay đổi trang phục thành "Armani suit."
- Kết luận và Kêu gọi Hành động:
- Người hướng dẫn có thể tạo ví dụ cả ngày, nhưng khuyến khích người xem tự làm.
- Liên kết quy trình làm việc được cung cấp trong mô tả.
- Kêu gọi chia sẻ ý tưởng, quy trình làm việc tùy chỉnh hoặc các tác vụ ComfyUI muốn xem.
- Yêu cầu người xem đăng ký kênh.
Hiểu lượng tài liệu khổng lồ như một thiên tài — cùng LilysAI
Hơn 1.000.000 người tìm kiếm tri thức đang dùng Lilys AI.
