Stable Diffusion이란? 이후 모델들이 차용해 간 오픈 모델의 원형

diffusion 모델은 사진이 파괴되는 과정을 보며 학습합니다. 사진에 잡음을 조금씩 더해 완전한 잡음이 될 때까지 진행하고, 각 단계에서 제거된 것을 예측하도록 네트워크를 학습시킵니다. 그 네트워크를 순서를 거꾸로 돌리면 순수 잡음에서 존재하지 않던 이미지를 그려 냅니다.

이 작업을 전체 해상도에서 하면 매 단계가 모든 픽셀에 작동하므로 비용이 막대합니다. latent의 요령은 먼저 이미지를 구조는 보존하되 픽셀의 세세함은 버리는 작은 표현으로 압축하고, 그 작은 공간에서 전 과정을 수행한 뒤 맨 끝에만 실제 이미지로 디코딩하는 것입니다.

이 단일 결정이 기술을 대중에게까지 가져왔습니다. 생성 비용을 대략 한 자릿수 배수 수준으로 낮췄고, 임대한 클러스터가 아니라 이미 가진 장비에서도 이미지 생성을 가능하게 했습니다.

Stability는 API만 제공하지 않고 모델 파일 자체를 공개했습니다. 이는 가장 장기적인 파급을 낳은 사실이며, 이제 결과가 흔해진 지금은 그 가치를 과소평가하기 쉽습니다.

누구나 모델을 열람·수정할 수 있었기에, 베이스 모델에 없던 통제 계층이 만들어졌습니다. LoRA는 전체 재학습 없이도 작은 추가 파일만으로 특정 스타일이나 피사체를 가르칠 수 있게 했습니다. ControlNet은 포즈, 깊이맵, 에지 드로잉 같은 구조 입력에 생성을 맞춰 구도를 고정할 수 있게 했습니다. 커뮤니티 checkpoint는 일러스트, 사진, 건축 등 용도별로 베이스 모델을 특화시켰습니다.

그 시기에 나온 어휘가 이제 이미지 생성 전반의 공용어가 됐습니다 — seed, sampler, denoise 강도, CFG, inpainting. 사람들이 ‘실제로 열 수 있는’ 모델을 읽고 고치며 만들어 낸 언어이고, 이 사이트의 용어집이 그런 식으로 쓰인 이유이기도 합니다.

예전보다 나아졌지만 아직 ‘가볍다’고 하긴 어렵습니다. 원클릭 설치기는 있고, 복잡한 노드 기반 인터페이스도 있습니다. "이미지를 만들었다"와 "원하던 이미지를 얻었다" 사이의 거리에 시간이 듭니다.

보상은 호스팅 제품이 주지 않는 통제입니다. 정확한 seed, 임의의 해상도, 원하는 어떤 checkpoint나 LoRA, 출력 중간에 개입하는 콘텐츠 파이프라인의 부재, 하드웨어 비용 이후의 무(無)건별 비용, 그리고 아무 것도 외부로 나가지 않는 환경.

대가는 작은 인프라를 스스로 운영한다는 점입니다. 모델 파일은 개당 수 GB에 이르고, 확장 기능끼리 충돌하며, 충분한 메모리를 가진 그래픽 카드는 입장권입니다. ‘이미지 한 장’이 목표인 분들은 호스팅 모델로 더 행복하고, ‘과정’이 목표인 분들이 남습니다.

이제는 원시 출력 품질만으로 자동 최상이라고 하기는 어렵습니다. FLUX를 포함한 몇몇 최신 모델은 prompt를 더 문자 그대로 따르고, 읽을 수 있는 텍스트를 훨씬 잘 렌더링합니다.

남아 있는 강점은 생태계입니다. 구버전 위에 쌓인 커뮤니티 checkpoint, 스타일 어댑터, 제어 도구의 물량은 신형 모델이 단기간에 얻기 어렵습니다. 특정 스타일 재현이 필요하거나 이미 구축된 파이프라인이 있는 분들에게는 이 재고가 일반적 품질 격차를 상쇄합니다.

또한 연속된 버전들이 초기 공개판보다 점점 더 조건부 라이선스로 배포되고 있으니, 용도를 가정하지 말고 실제 의도한 사용과 맞춰 확인하셔야 합니다. "공개 가중치"와 "무제한 무료"는 한동안 같은 말이 아닙니다.

여기 있는 거의 모든 기법 페이지가 이 모델이 보급한 용어를 씁니다. denoise 강도는 image-to-image 결과가 입력에서 얼마나 벗어날지 정합니다. seed는 생성을 재현 가능하게 합니다. inpainting은 마스크 안을 편집하고 나머지는 건드리지 않습니다. 모델이 무엇이든 이 개념은 그대로 적용됩니다.

직접 설치하지 않더라도 Stable Diffusion을 이해할 이유는 이것이 솔직합니다. 이 모델의 인터페이스가 언어로 ‘샜’습니다. 한 번 익히면 다른 모든 도구를 읽기가 쉬워집니다.