Stable Diffusion Fine-Tuning 기법

Sttable Diffusion Fine-Tuning 

- 적용 사례

이커머스 : 제품 이미지 자동 생성으로 카탈로그 제작 효율화

게임 개발 : 컨셉 아트 및 게임 에셋 생성 시간 단축

패션 디자인 : 새로운 디자인 아이디어 빠르게 시각화

 

- 필요성

특정 스타일이나 주제에 맞춘 이미지 생성 요구 증가.

기존 모델을 특정한 스타일이나 주제에 맞게 조정하여 원하는 결과를 어디 위해 사용.

 

- 프로세스

1. 데이터 준비 : 이미지와 텍스트 프롬프트 쌍 준비

2. 모델 선택 : Stable Diffusion 모델 선택 ( 1.4, 1.5, 2.1, SDXL 등 )

3. 하이퍼파라미터 설정 : 학습률, 배치 크기 등 설정

4. 학습 실행 : 준비된 데이터로 모델 미세 조정 시작

 

Fine-Tuning 주요 방법

- Dreambooth

적은 수의 이미지로 모델을 특정 concept에 맞게 customize

 

이미지를 준비한 후 새로운 토큰으로 매치를 시켜서 특정 새로운 컨셉을 만들어냄.

 

- Textual Inversion 

새로운 concept의 텍스트 임베딩을 학습해 모델이 해당 concept를 학습

 

- LoRA ( Low-Rank Adaptation )

모델의 일부 파라미터만을 조정하여 경량화된 fine-tuning

 

 

 

	특징	장점	단점
DreamBooth	- 적은 수의 이미지로 특정 개체( 인물, 스타일 등)를 학습 - 모델 자체를 업데이트하여 특정 개념을 내재화	개별 개체를 매우 정확하게 학습 가능. 다양한 컨텍스트에서도 적용 가능.	학습 시간이 오래 걸림 ( 몇 시간 이상 ) VRAM 사용량이 높아 고사양 GPU 필요
Textual Inversion	- 특정 개념을 새로운 텍스트 토큰으로 학습 - 모델의 가중치는 변경하지 않고, 임베딩을 추가하여 개념을 표현	모델을 직접 변경하지 않아 효율적. 매우 적은 학습 데이터로도 가능.	새로운 개념이 기존 모델의 스타일에 종속될 가능성이 큼. 개체 표현력이 DreamBooth보다 떨어짐
LoRA	- 모델의 특정 가중치(어텐션 레이어)를 추가 학습하여 효율적으로 Fine-tuning - 모델 전체를 학습하지 않고 적은 파라미터만 조정	기존 모델 크기를 유지하면서 적은 VRAM으로 학습 가능. 빠른 학습 속도와 낮은 저장 공간 요구	일반저인 스타일 튜닝에는 적합하지만, 특정 개체(특정 인물 등) 학습에는 DreamBooth보다 정확도가 낮음.

 

 

추가로, 학습을 완료한 이후 좀 더 궁금한 부분은 GPT에게 물어보았고 이를 공유함!

https://chatgpt.com/share/685b5c82-1ea4-8005-ada1-baaf8c93b57d