003. ControlNet 공부 - Flux는 무엇인가?

 

2월, 시도해 보고자 하는 것은 내가 쓴 글? 약간 소설 비슷한....짧은 글을 이미지로 생성해서 영상으로 만들고 싶다. 

근데 도무지 어떤 노드를 써서 효과적으로 나타낼 지 몰라서 이것 저것 막 하기 보다 

일단 ! 이론적으로 접근해서 차근차근 무엇이 있는지 알아보고 자 한다. 아카이빙 먼저...! 

콜로소의 김진성 연사 강의 듣고 있다. 

컨트롤넷 첫 강의로 시작하여 나도 우선적으로 이것 부터 파악 하고자 한다. 

좀 더 자세히 알아보고 기록해보자. 

 

 

https://github.com/lllyasviel/ControlNet : 컨트롤넷 깃허브에 올리신 분. 

너무 궁금해서 gpt에게 물어봤다. 

 

ControlNet은 누가 만들었나?

ControlNet은 2023년에 스탠퍼드 대학의 연구원
Zhang Lvmin(장 르민, 닉네임: lllyasviel) 이 주도해서 만들었습니다.

• 논문: “Adding Conditional Control to Text-to-Image Diffusion Models”
• 공개와 동시에 Stable Diffusion 커뮤니티에 큰 영향을 줬고,
  이후 거의 모든 이미지 생성 파이프라인의 표준처럼 자리 잡았죠.

 

 

 

 

천재같다. 부럽다. 

 

그리고 이 페이지에 나와있는 주요 설명 발췌이다. 

https://docs.comfy.org/tutorials/controlnet/controlnet

 

ControlNet models significantly enhance the controllability of image generation and the ability to reproduce details by introducing multimodal input conditions, such as edge detection maps, depth maps, and pose keypoints.

 

스테이블 디퓨전은
노이즈를 제거하면서 이미지를 찾아가는,
수정에 기반한 생성이라 우연성이 크고
구조가 쉽게 무너진다
→ 그래서 강제 틀(ControlNet)이 필요했다

 

 

그렇다면, Flux control net은 무엇이고 SD와 어떻게 다른건가......??

 

 

 

 

 

Flux? ? ? ? ? ? ? ? 

 

 

 

1. Flux 

 

최신 Flux 모델에 대해 먼저 알아보고자 한다. Flux가 어떻게 이미지를 사고 하는지 알아봐야 되는데..! 

Flux는 일단 Stable diffustion과 이미지 생성과정과 학습이 된 방향성이 완전 다르다. 

 

Chat gpt 말한 그대로 기록. 

 

Stable Diffusion은 “노이즈를 지워서 이미지를 찾는 방식”이고,
FLUX는 “처음부터 올바른 방향으로 이미지를 만들어 가는 방식”이다.

 

그래서 Stable Diffusion의 특징은?

장점

• 매우 안정적
• 어떤 이미지든 수렴 가능
• 학습이 쉬움

단점

• 방향성이 약함
• 구조를 ‘강제’하지 않으면 흐트러짐
• ControlNet 같은 보조 장치가 필요

👉 그래서:

• canny
• pose
• depth
  같은 외부 컨트롤이 필수처럼 붙음

 

FLUX의 핵심 개념: Rectified Flow

이게 제일 중요합니다.

🔹 Rectified Flow란?

• 노이즈 제거 ❌
• ‘흐름(Flow)’을 학습 ⭕

각 상태에서:

“지금 이 latent는
정답 이미지 쪽으로 어떤 방향으로 이동해야 하나?”

을 학습합니다.

 

그래서 FLUX는 왜 구조를 잘 이해하나?

이유 1️⃣

FLUX는 매 스텝마다:

• canny
• 텍스트 의미
• 전체 구도

를 “방향 벡터”로 계산

“이 구조라면
팔은 이쪽으로 가야 한다”

이게 수학적으로 직접 반영됨

---

이유 2️⃣

노이즈 제거가 아니라:

• 구조 붕괴 → 다시 복구
  이런 과정이 없음

👉 처음부터 형태 보존이 쉬움

---

7️⃣ ControlNet이 필요 없는 이유

Stable Diffusion:

• 기본 생성이 랜덤
• 구조가 무너지기 쉬움
• → ControlNet으로 “잡아당김”

FLUX:

• 구조가 생성 방향에 포함
• → 따로 끌어당길 필요 없음

👉 그래서 FLUX canny는:

• ControlNet ❌
• 모델 자체에 canny 내장 ⭕