Stable Diffusion คืออะไร โมเดลเปิดที่อีกหลายตัวหยิบยืมแนวทาง

โมเดล diffusion เรียนรู้ด้วยการดูภาพถูกทำลาย นำภาพถ่ายมา เพิ่ม noise เล็กน้อย เพิ่มต่อไป จนเหลือแต่สัญญาณรบกวน แล้วฝึกเครือข่ายให้ทำนายสิ่งที่ถูกลบในแต่ละขั้น ตอนรันย้อนกลับจากสัญญาณรบกวนล้วน มันจะวาดภาพที่ไม่เคยมีอยู่จริงขึ้นมา

การทำเช่นนี้ที่ความละเอียดเต็มแพงมาก เพราะทุกขั้นต้องคำนวณทุกพิกเซล กลเม็ด latent คือบีบอัดภาพก่อนให้เหลือตัวแทนที่เล็กลงมากซึ่งรักษาโครงสร้างไว้แต่ทิ้งพิกเซลจริง ๆ ไป รันกระบวนการมี noise ทั้งหมดในพื้นที่เล็กนั้น แล้วค่อยถอดรหัสกลับเป็นภาพจริงตอนสุดท้าย

การตัดสินใจเดียวนี้ทำให้เทคโนโลยีเข้าถึงผู้ใช้ทั่วไปได้จริง ต้นทุนการสร้างภาพลดลงราวหนึ่งลำดับขนาด และพาการสร้างภาพมาสู่ฮาร์ดแวร์ที่คนทั่วไปมี แทนการเช่าโหนดจำนวนมาก

Stability ปล่อยไฟล์โมเดลจริง ไม่ได้ให้แค่ API นั่นคือข้อเท็จจริงที่ส่งผลยาวนาน และวันนี้อาจถูกมองข้ามได้ง่ายเพราะผลลัพธ์มีอยู่ดาษดื่น

เพราะใคร ๆ เปิดดูและแก้ไขโมเดลได้ ผู้คนจึงสร้างชั้นควบคุมที่ตัวโมเดลฐานขาดอยู่ LoRA ทำให้สอนได้ทั้งสไตล์และตัวแบบเฉพาะด้วยไฟล์เสริมขนาดเล็กแทนการฝึกใหม่ ControlNet ทำให้จำกัดการสร้างให้อยู่ในกรอบอย่างโครงท่าโพส แผนที่ความลึก หรือเส้นขอบลวดลายได้ checkpoints ของชุมชนทำให้โมเดลฐานเชี่ยวชาญขึ้นสำหรับงานอย่างภาพประกอบ การถ่ายภาพ สถาปัตย์ และอื่น ๆ

คำศัพท์จากช่วงเวลานั้นกลายเป็นภาษากลางของงานสร้างภาพ — seed, sampler, denoise strength, CFG, inpainting คำเหล่านี้แพร่จากชุมชนเปิดที่ได้อ่านและเขียนโมเดลที่เปิดดูได้จริง และนั่นคือเหตุผลที่อภิธานศัพท์บนไซต์นี้เขียนแบบนั้น

ดีกว่าเมื่อก่อนมาก แต่ยังไม่ใช่งานลวก ๆ มีตัวติดตั้งแบบคลิกเดียว และมีอินเทอร์เฟซแบบโหนดที่ซับซ้อนจริง ระยะทางระหว่าง “ฉันสร้างภาพได้แล้ว” กับ “ฉันได้ภาพที่ต้องการ” คือที่ที่เวลาถูกใช้ไป

รางวัลคือการควบคุมที่บริการโฮสต์ให้ไม่ได้: เลือก seed ตรงเป๊ะ ความละเอียดตามใจ เลือก checkpoint หรือ LoRA ใดก็ได้ ไม่มีท่อคอนเทนต์คั่นกลางระหว่างท่านกับผลลัพธ์ ไม่มีต้นทุนต่อภาพหลังจากมีฮาร์ดแวร์ และไม่มีข้อมูลออกจากเครื่องของท่าน

ต้นทุนคือท่านกำลังดูแลโครงสร้างพื้นฐานขนาดเล็ก ไฟล์โมเดลมีขนาดหลาย GB ส่วนขยายบางตัวชนกันเอง และการ์ดจอที่มีหน่วยความจำพอคือบัตรผ่านเข้า ผู้ที่แค่อยากได้รูปมักพอใจกับบริการโฮสต์ ผู้ที่อยากได้กระบวนการคือกลุ่มที่อยู่ต่อ

มันไม่ได้ดีที่สุดโดยอัตโนมัติในแง่คุณภาพผลลัพธ์ดิบ และโมเดลรุ่นใหม่หลายตัว — รวมถึง FLUX ซึ่งสร้างโดยทีมที่บางส่วนเคยทำ Stable Diffusion — อ่าน prompt ตรงกว่าและเรนเดอร์ข้อความที่อ่านออกได้ดีกว่า

สิ่งที่ยังมีเหนือกว่าคือระบบนิเวศ ปริมาณ checkpoints ของชุมชน ตัวแปลงสไตล์ และเครื่องมือควบคุมที่สร้างบนรุ่นเก่า ไม่ใช่สิ่งที่โมเดลใหม่จะได้มารวดเร็ว สำหรับใครที่ต้องทำซ้ำสไตล์เฉพาะหรือมีสายงานอยู่แล้ว สต็อกทรัพยากรนั้นมีค่านำหน้าช่องว่างคุณภาพทั่วไป

รุ่นถัด ๆ มาก็มักปล่อยภายใต้สัญญาอนุญาตที่มีเงื่อนไขมากขึ้นกว่ารุ่นแรก ๆ ซึ่งควรตรวจสอบให้ตรงกับการใช้งานของท่าน แทนที่จะคิดว่า “เปิดน้ำหนัก” เท่ากับ “ใช้ฟรีทุกอย่าง” เพราะสองอย่างนี้แยกจากกันมาพักใหญ่แล้ว

แทบทุกหน้าวิธีการบนไซต์นี้ใช้คำที่โมเดลนี้ทำให้แพร่หลาย ค่า denoise strength กำหนดว่าผล image-to-image จะห่างจากอินพุตได้แค่ไหน seed ทำให้การสร้างซ้ำได้ Inpainting คือการแก้ในมาสก์และปล่อยส่วนที่เหลือไม่แตะ แนวคิดเหล่านี้ใช้ได้กับไม่ว่าโมเดลไหนที่ท่านเลือกในท้ายที่สุด

นี่คือเหตุผลตามตรงที่ควรเข้าใจ Stable Diffusion แม้ไม่เคยติดตั้ง: มันคือโมเดลที่อินเทอร์เฟซรั่วไหลออกมาเป็นภาษา เรียนครั้งเดียวแล้วเครื่องมืออื่นอ่านง่ายขึ้นถ้วนหน้า