מהו Stable Diffusion? המודל הפתוח שממנו כולם השאילו

מודל דיפוזיה לומד בכך שהוא צופה בתמונות נהרסות. לוקחים צילום, מוסיפים מעט רעש, מוסיפים עוד, ממשיכים עד שלא נותר אלא סטטי, ומאמנים רשת לחזות מה הוסר בכל שלב. מריצים את הרשת הזאת לאחור מתוך סטטי מוחלט והיא מציירת תמונה שלא הייתה שם.

לעשות זאת ברזולוציה מלאה יקר מאוד, כי כל שלב פועל על כל פיקסל. הטריק הלטנטי הוא לדחוס קודם את התמונה לייצוג קטן בהרבה ששומר על המבנה ומוותר על הפיקסלים המדויקים, להריץ את כל תהליך הרעש במרחב הקטן הזה, ולפענח בחזרה לתמונה אמיתית רק בסוף.

ההחלטה האחת הזו היא מה שהביאה את התחום לציבור הרחב. היא חתכה בערך סדר גודל מעלות ההרצה והביאה יצירת תמונות לחומרה שיש לאדם פרטי, במקום אשכול מושכר.

Stability פרסמה את קבצי המודל עצמם ולא רק API. זהו הנתון בעל ההשלכות הארוכות ביותר, שקל לזלזל בו עכשיו כשהתוצאות בכל מקום.

משום שכל אחד יכול היה לבדוק ולשנות את המודל, אנשים בנו את שכבת השליטה שהמודל הבסיסי חסר. LoRAs איפשרו ללמד סגנון או נושא ספציפיים עם קובץ תוספת קטן במקום לאמן מחדש. ControlNet איפשר לרסן יצירה לפוזה, מפת עומק או שרטוט קצוות. קהילת ה-checkpoints ייעדה את המודל לאיור, צילום, אדריכלות ועוד.

הלקסיקון שיצא מאותה תקופה הוא כיום השפה שבה מדברים על יצירת תמונות בכלל — seed, sampler, denoise strength, CFG, inpainting. המילים האלה פופולריות בזכות קהילה פתוחה שקראה וכתבה מחדש מודל שאפשר היה לפתוח באמת, ולכן גם המילון באתר הזה כתוב כך.

טוב מפעם, אך עדיין לא טריוויאלי. יש מתקינים בלחיצה אחת וגם ממשקי צמתים מורכבים באמת, והמרחק בין "יצרתי תמונה" לבין "קיבלתי את מה שרציתי" — שם הולך הזמן.

השכר הוא שליטה שמוצרים מאוחסנים לא תמיד מציעים: seeds מדויקים, רזולוציות שרירותיות, כל checkpoint או LoRA שתרצו, בלי צנרת תוכן ביניכם לפלט, בלי עלות פר תמונה אחרי החומרה, ושום דבר לא יוצא מהמכונה שלכם.

המחיר הוא שאתם מפעילים תשתית קטנה. קבצי מודל מגיעים לכמה ג׳יגה-בייטים כל אחד, הרחבות שוברות זו את זו, וכרטיס מסך עם מספיק זיכרון הוא כרטיס הכניסה. מי שרוצה תמונה — ייטה לשירות מאוחסן; מי שרוצה תהליך — נשאר.

זה כבר לא בהכרח החזק ביותר באיכות פלט גולמית, וכמה מודלים חדשים — כולל FLUX, שנבנה בחלקו בידי מי שעבדו על Stable Diffusion — קוראים prompts בצורה מילולית יותר ומרנדרים טקסט קריא טוב בהרבה.

מה שנשאר הוא האקוסיסטם. היקף ה-checkpoints הקהילתיים, מתאמי הסגנון וכלי השליטה שנבנו על גרסאות קודמות — אינו משהו שמודל חדש צובר במהירות, ולמי שיש סגנון מסוים לשחזר או צנרת שכבר בנויה, המלאי הזה מכריע יותר מפער איכות כללי.

גרסאות עוקבות גם יצאו תחת רישיונות מותנים יותר ויותר לעומת ההפצות המוקדמות, ושווה לבדוק מול השימוש המיועד במקום להניח. "משקולות פתוחות" ו"חופשי לכל דבר" הפסיקו להיות אותו משפט מזמן.

כמעט כל דף טכניקה כאן משתמש במונחים שהמודל הזה הפך לשגורים. denoise strength קובע כמה רחוק תוצאת image-to-image מותר לה לסטות מהקלט. seed הופך יצירה לחוזרת. inpainting עורך בתוך מסכה ומשאיר את השאר ללא שינוי. המושגים האלה חלים על כל מודל שבו תשתמשו בסוף.

זו הסיבה הכנה להבין Stable Diffusion גם אם לעולם לא תתקינו אותו: זה המודל שהממשק שלו דלף לשפה. לומדים פעם אחת, וכל כלי אחר נהיה קריא יותר.