Τι είναι το Stable Diffusion; Το ανοιχτό μοντέλο από το οποίο δανείστηκαν όλοι

Ένα diffusion μοντέλο μαθαίνει παρακολουθώντας εικόνες να καταστρέφονται. Παίρνετε μια φωτογραφία, προσθέτετε λίγο θόρυβο, προσθέτετε κι άλλο, συνεχίζετε μέχρι να μείνει μόνο «χιόνι», και εκπαιδεύετε ένα δίκτυο να προβλέπει τι αφαιρέθηκε σε κάθε βήμα. Τρέξτε αυτό το δίκτυο ανάποδα ξεκινώντας από καθαρό θόρυβο και «ζωγραφίζει» μια εικόνα που ποτέ δεν υπήρξε.

Το να γίνεται αυτό σε πλήρη ανάλυση είναι εξαιρετικά ακριβό, γιατί κάθε βήμα δουλεύει πάνω σε κάθε εικονοστοιχείο. Το latent τέχνασμα είναι να συμπιεστεί πρώτα η εικόνα σε πολύ μικρότερη αναπαράσταση που κρατά τη δομή και πετά τα ακριβή pixels, να τρέξει όλη η θορυβώδης διαδικασία σε αυτόν τον μικρό χώρο και να γίνει decode σε πραγματική εικόνα μόνο στο τέλος.

Αυτή η μία απόφαση είναι ο λόγος που όλα αυτά έφτασαν σε απλούς χρήστες. Μείωσε το κόστος δημιουργίας περίπου κατά μία τάξη μεγέθους και έφερε τη δημιουργία εικόνας σε υλικό που ίσως ήδη έχετε, αντί για ενοικιαζόμενο cluster.

Η Stability δημοσίευσε τα ίδια τα αρχεία του μοντέλου αντί για απλό API. Αυτό είναι το γεγονός με τις μακρύτερες συνέπειες — εύκολο να υποτιμηθεί τώρα που τα αποτελέσματα είναι παντού.

Επειδή οποιοσδήποτε μπορούσε να επιθεωρήσει και να τροποποιήσει το μοντέλο, ο κόσμος έχτισε το στρώμα ελέγχου που έλειπε από τη βάση. Τα LoRA επέτρεψαν να διδαχθεί συγκεκριμένο ύφος ή θέμα με ένα μικρό add-on αρχείο αντί για επανεκπαίδευση. Το ControlNet επέτρεψε να περιοριστεί η δημιουργία σε πόζα, χάρτη βάθους ή περίγραμμα. Τα community checkpoint εξειδίκευσαν το βασικό μοντέλο για εικονογράφηση, φωτογραφία, αρχιτεκτονική και οτιδήποτε άλλο.

Το λεξιλόγιο εκείνης της περιόδου είναι πλέον ο τρόπος που μιλάμε γενικά για δημιουργία εικόνας — seed, sampler, denoise strength, CFG, inpainting. Αυτές οι λέξεις διαδόθηκαν από μια open κοινότητα που διάβαζε και ξαναέγραφε μοντέλο που μπορούσε πραγματικά να ανοίξει, και γι’ αυτό το γλωσσάριο αυτού του ιστότοπου είναι γραμμένο έτσι.

Καλύτερο από παλιά αλλά ακόμη όχι «χαλαρό». Υπάρχουν one-click installers και υπάρχουν node-based διεπαφές πραγματικής πολυπλοκότητας, και η απόσταση ανάμεσα στο «έφτιαξα μια εικόνα» και στο «πήρα την εικόνα που ήθελα» είναι εκεί που πάει ο χρόνος.

Η ανταμοιβή είναι έλεγχος που τα hosted προϊόντα δεν προσφέρουν: ακριβή seed, αυθαίρετες αναλύσεις, όποιο checkpoint ή LoRA θέλετε, κανένα content pipeline ανάμεσα σε εσάς και το output, μηδενικό ανά-εικόνα κόστος μετά το hardware, και τίποτα να μη φεύγει από το μηχάνημά σας.

Το κόστος είναι ότι πλέον λειτουργείτε ένα μικρό κομμάτι υποδομής. Τα αρχεία μοντέλων είναι αρκετά gigabytes το καθένα, οι επεκτάσεις συγκρούονται μεταξύ τους, και μια κάρτα γραφικών με αρκετή μνήμη είναι το εισιτήριο εισόδου. Όσοι θέλουν απλώς μια εικόνα είναι συνήθως πιο χαρούμενοι με hosted μοντέλο· όσοι θέλουν διαδικασία είναι αυτοί που μένουν.

Δεν είναι πλέον αυτόματα η ισχυρότερη επιλογή σε ακατέργαστη ποιότητα εξόδου, και αρκετά νεότερα μοντέλα — συμπεριλαμβανομένου του FLUX, που φτιάχτηκε εν μέρει από ανθρώπους που δούλεψαν στο Stable Diffusion — ακολουθούν πιο κατά γράμμα τα prompt και αποδίδουν πολύ πιο ευανάγνωστο κείμενο.

Αυτό που διατηρεί είναι το οικοσύστημα. Ο όγκος των community checkpoint, style adapters και εργαλείων ελέγχου που χτίστηκαν πάνω στις παλαιότερες εκδόσεις δεν είναι κάτι που ένα νεότερο μοντέλο αποκτά γρήγορα, και για όποιον έχει συγκεκριμένο ύφος προς αναπαραγωγή ή pipeline ήδη στημένο, αυτό το απόθεμα υπερτερεί ενός γενικού κενού ποιότητας.

Διαδοχικές εκδόσεις επίσης κυκλοφόρησαν υπό ολοένα πιο υπό όρους άδειες σε σχέση με τα πρώτα releases, κάτι που αξίζει να ελέγξετε σε σχέση με τη χρήση που σκοπεύετε, αντί να υποθέσετε. «Open βάρη» και «δωρεάν για τα πάντα» έπαψαν να είναι το ίδιο πράγμα εδώ και καιρό.

Σχεδόν κάθε σελίδα τεχνικής εδώ χρησιμοποιεί όρους που αυτό το μοντέλο εκλαΐκευσε. Το denoise strength καθορίζει πόσο μακριά ένα image-to-image αποτέλεσμα απομακρύνεται από την είσοδο. Ένα seed κάνει μια δημιουργία επαναλήψιμη. Το inpainting επεξεργάζεται μέσα σε μάσκα και αφήνει τα υπόλοιπα ανέγγιχτα. Αυτές οι έννοιες ισχύουν όποιο μοντέλο κι αν χρησιμοποιήσετε τελικά.

Αυτός είναι ο ειλικρινής λόγος να κατανοήσετε το Stable Diffusion ακόμη κι αν δεν το εγκαταστήσετε ποτέ: είναι το μοντέλο του οποίου το interface «διέρρευσε» στη γλώσσα. Μάθετέ το μία φορά και κάθε άλλο εργαλείο γίνεται ευκολότερο στην ανάγνωση.