Stable Diffusion là gì? Mô hình mở mà phần còn lại vay mượn từ đó

Một mô hình khuếch tán học bằng cách xem ảnh bị phá hủy. Lấy một bức ảnh, thêm chút nhiễu, thêm nữa, tiếp tục cho đến khi chỉ còn nhiễu tĩnh, và huấn luyện mạng dự đoán phần đã bị loại bỏ ở mỗi bước. Chạy mạng đó ngược từ nhiễu thuần thì nó vẽ ra một bức ảnh vốn chưa từng tồn tại.

Làm việc ở độ phân giải đầy đủ cực kỳ tốn kém vì mỗi bước đụng tới mọi pixel. Mẹo tiềm ẩn là nén ảnh trước thành biểu diễn nhỏ hơn nhiều, giữ cấu trúc và bỏ đi pixel chính xác, chạy toàn bộ quá trình nhiễu trong không gian nhỏ đó và chỉ giải mã về ảnh thật ở cuối.

Quyết định duy nhất này là lý do công nghệ tới được tay người dùng phổ thông. Nó cắt chi phí tạo ảnh khoảng một bậc độ lớn và đưa việc tạo ảnh lên phần cứng mà một người có thể đã sở hữu, thay vì cần cụm máy thuê.

Stability phát hành chính các tệp mô hình thay vì chỉ cung cấp API. Đây là thực tế có hậu quả dài lâu, và nay khi kết quả đã ở khắp nơi thì rất dễ đánh giá thấp.

Vì ai cũng có thể xem và sửa mô hình, cộng đồng đã xây lớp kiểm soát mà mô hình gốc thiếu. LoRA cho phép dạy một phong cách hay chủ thể cụ thể bằng một tệp bổ sung nhỏ thay vì huấn luyện lại. ControlNet cho phép ràng buộc quá trình tạo theo pose, bản đồ độ sâu hay nét cạnh. Các checkpoint cộng đồng chuyên biệt hóa mô hình gốc cho minh họa, nhiếp ảnh, kiến trúc và nhiều thứ khác.

Từ vựng sinh ra từ giai đoạn đó nay là cách người ta nói về tạo ảnh nói chung — seed, sampler, denoise strength, CFG, inpainting. Những từ này được phổ biến bởi cộng đồng mở, những người đọc và viết lại một mô hình họ thực sự có thể mở, và đó là lý do bảng thuật ngữ trên site này được viết như vậy.

Đỡ hơn trước nhưng vẫn không phải việc tùy hứng. Có các bộ cài một cú nhấp và có các giao diện dạng node rất phức tạp, và khoảng cách giữa "tôi đã tạo được một bức ảnh" và "tôi tạo đúng bức tôi muốn" là nơi thời gian đội lên.

Phần thưởng là mức kiểm soát mà dịch vụ lưu trữ không có: seed chính xác, độ phân giải tùy ý, bất kỳ checkpoint hay LoRA nào quý vị thích, không có chuỗi xử lý nội dung chen giữa quý vị và đầu ra, không tốn phí theo ảnh sau khi đã có phần cứng, và không gì rời khỏi máy của quý vị.

Cái giá là quý vị đang vận hành một mảnh hạ tầng nhỏ. Tệp mô hình cỡ vài gigabyte mỗi cái, các mở rộng xung đột lẫn nhau, và một card đồ họa đủ bộ nhớ là vé vào cửa. Người chỉ cần một bức ảnh thường hài lòng với mô hình lưu trữ; người cần một quy trình mới là người ở lại.

Không còn đương nhiên là lựa chọn mạnh nhất về chất lượng đầu ra thô, và vài mô hình mới — gồm cả FLUX, do một phần các tác giả của Stable Diffusion xây dựng — bám prompt sát hơn và dựng chữ đọc được tốt hơn nhiều.

Điều nó giữ lại là hệ sinh thái. Khối lượng checkpoint cộng đồng, bộ thích nghi phong cách và công cụ điều khiển quanh các phiên bản cũ không phải thứ mô hình mới có được nhanh, và với ai cần tái hiện một phong cách cụ thể hay đã có pipeline, kho tài nguyên đó lấn át khoảng cách chất lượng chung.

Các phiên bản sau cũng phát hành theo giấy phép điều kiện hóa dần so với các bản đầu, điều đáng kiểm tra so với mục đích sử dụng của quý vị thay vì mặc định. "Trọng số mở" và "tự do cho mọi mục đích" đã không còn đồng nghĩa từ lâu.

Hầu như mọi trang kỹ thuật ở đây dùng các thuật ngữ mô hình này phổ biến. Denoise strength quyết định ảnh image-to-image lệch khỏi đầu vào bao xa. Seed làm cho một lần tạo có thể lặp lại. Inpainting chỉnh trong vùng mặt nạ và giữ phần còn lại nguyên vẹn. Các khái niệm đó áp dụng với bất kỳ mô hình nào quý vị dùng sau này.

Đó là lý do thẳng thắn để hiểu Stable Diffusion ngay cả khi quý vị không bao giờ cài: đây là mô hình có giao diện đã thấm vào ngôn ngữ. Học một lần và mọi công cụ khác đều dễ đọc hơn.