궁극의 스테이블 디퓨전 텍스트 역전 가이드

Name

Naomi Clarkson

Published on 2023. 8. 17.

(opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab) (opens in a new tab)

안정적인 확산 텍스트 역전에 대한 포괄적인 가이드에 오신 것을 환영합니다. 이 가이드에서는 그림 예시의 수가 적은 경우에도 새로운 개념을 포착하는 강력한 텍스트 역전 기법인 안정적인 확산을 어떻게 세밀하게 조정하는지 알아보겠습니다. 이 과정을 통해 텍스트에서 이미지를 생성할 때 더 많은 수준의 제어를 제공하는 개인화된 이미지 생성이 가능하게 됩니다.

안정적인 확산은 강력한 잠재적 텍스트에서 이미지로 확산하는 모델로써, 텍스트로부터 이미지를 생성하는 방식을 혁신하였습니다. 텍스트 역전을 통해 우리는 기존 모델을 수정하지 않고도 이러한 모델에 새로운 스타일이나 객체를 추가할 수 있게 되었습니다. 이 가이드에서는 텍스트 역전을 사용하여 자신만의 모델을 훈련시키는 단계별 프로세스를 제공합니다.

안정적인 확산에서의 텍스트 역전이란?

텍스트 역전은 기존 모델을 수정하지 않고도 텍스트에서 이미지로 새로운 스타일이나 객체를 추가할 수 있는 기술입니다. 원하는 개념을 나타내는 새로운 키워드를 정의하고, 해당 언어 모델 내에 대응하는 임베딩 벡터를 찾는 과정으로 이루어집니다. 이 기술을 사용하면 사용자가 제시한 개념을 기반으로 모델이 이미지를 생성할 수 있습니다. 이를 위해 보통 3-5개의 샘플 이미지가 충분합니다.

예를 들어, "야생에서 그리는 로봇, 자연, 정글"이라는 이미지를 생성하고 싶다면, 새로운 키워드 "로봇-아트"를 정의하고 해당 임베딩 벡터를 찾으면 모델은 이 개념을 기반으로 이미지를 생성합니다.

이 과정을 통해 모델은 사용자가 제시한 문장을 텍스트 역전 기술을 사용하여 모델의 임베딩 공간 내에서 자연어 문장을 구성함으로써 개인화된 창조를 가능하게 합니다. 단어 하나의 임베딩 벡터만으로도 다양하고 구별된 개념을 포착하는 데 충분합니다. 텍스트 역전(임베딩) 파일의 크기는 일반적으로 10-100KB이며, *.pt 또는 *.safetensors 파일 확장자를 사용합니다.

안정적인 확산에 텍스트 역전 추가하는 방법은?

안정적인 확산에 텍스트 역전을 추가하는 것은 몇 가지 단계를 거칩니다. 먼저, 텍스트 역전(임베딩) 파일을 다운로드해야 합니다. 이러한 파일을 찾는 가장 좋은 장소는 Civitai와 Hugging Face입니다. 파일을 다운로드한 후에는 AUTOMATIC1111의 Stable Diffusion WebUI (opens in a new tab)와 같은 도구를 사용하는 경우 적절한 폴더에 이 파일을 저장하면 됩니다.

텍스트 역전은 키워드 또는 트리거 단어와 함께 작동합니다. 이 트리거 단어는 보통 임베딩을 다운로드한 곳과 함께 표시됩니다. 이미지 생성 과정에서 텍스트 역전을 활성화하려면 텍스트 프롬프트에서 해당 트리거 단어를 사용하면 됩니다.

예를 들어, AUTOMATIC1111의 WebUI를 사용한다면 다음과 같은 방법으로 작업할 수 있습니다:

• Generate 버튼 아래에 있는 작은 "이미지" 아이콘을 클릭하여 사용 가능한 텍스트 역전을 표시합니다.
• 텍스트 역전을 클릭하면 해당 텍스트 프롬프트에 적용됩니다.
• 트리거 단어가 "로봇-아트"인 경우, "로봇-아트"를 텍스트 프롬프트에 포함시켜 "로봇-아트가 포함된 이미지 생성"과 같은 방식으로 작업할 수 있습니다.

안정적인 확산 텍스트 역전을 위해 몇 개의 이미지가 필요한가요?

놀랍게도, 텍스트 역전은 3-5개의 샘플 이미지만으로도 그 목표를 달성할 수 있습니다. 이 과정은 모델의 임베딩 공간 내에서 이러한 새로운 "단어"를 사용하여 자연어 문장을 구성함으로써 개인화된 창조를 가능하게 합니다. 하나의 단어 임베딩만으로도 다양하고 구별된 개념을 포착하는 데 충분합니다.

예를 들어, "해변 석양"이라는 이미지를 생성하고 싶다고 가정해봅시다. 해변 석양에 대한 적은 수의 샘플 이미지만으로도 모델이 이 개념을 이해할 수 있습니다. 이를 위해 텍스트 프롬프트는 다음과 같이 작성할 수 있습니다.

예시 프롬프트: "해변 석양의 이미지를 생성하세요."

마찬가지로, "꽃무늬" 이미지를 생성하고 싶다면, 꽃무늬에 대한 적은 수의 샘플 이미지를 사용하여 모델을 훈련할 수 있습니다. 텍스트 프롬프트는 다음과 같이 작성할 수 있습니다.

예시 프롬프트: "꽃무늬가 있는 이미지를 생성하세요."

이러한 샘플 프롬프트를 제공함으로써 모델은 원하는 개념을 이해하고 이미지를 생성할 수 있습니다.

그러나 텍스트 역전은 일반적으로 적은 수의 샘플 이미지와 잘 작동하지만, 이미지의 품질과 다양성이 출력 결과에 영향을 줄 수 있다는 점을 주의해야 합니다. 더 크고 다양한 데이터 세트를 사용하면 모델이 정확하고 창의적인 이미지를 생성하는 능력을 향상시킬 수 있습니다.

안정적인 확산에서 얼굴 훈련하는 방법은?

얼굴을 안정적인 확산에 훈련하는 방법은 텍스트 역전과 비슷한 과정을 거칩니다. 먼저, 자신의 얼굴 이미지 집합을 수집해야 합니다. 이 이미지는 다양한 각도, 표정, 조명 조건을 포함하여 다양해야 합니다. 데이터 집합이 다양할수록 모델이 자신을 잘 포착한 새로운 이미지를 생성합니다. 여러분이 데이터셋을 준비하셨다면, AUTOMATIC1111의 Stable Diffusion WebUI와 같은 도구를 사용하여 모델을 학습시킬 수 있습니다. 이 과정에는 이미지를 모델에 입력하고 얼굴을 구성하는 패턴과 특징을 학습시키는 것이 포함됩니다. 이는 fine-tuning이라는 과정을 통해 수행되며, 모델의 기존 지식을 새로운 데이터에 더 잘 맞도록 조정하는 것입니다. 학습 과정 중에 고려해야 할 몇 가지 주요 요소가 있습니다:

• Negative Prompt: 생성된 이미지에서 특정 요소나 개념을 배제합니다.
• Seed: 이미지 생성의 무작위성을 결정합니다.
• Image의 수: 생성하려는 전체 이미지 수를 선택합니다.
• Model Selection: 다양한 결과를 생성하기 위해 다른 모델을 선택합니다.
• Image Size: 출력 이미지의 크기를 조절합니다.
• Guidance Scale: Prompt에 대한 따름새 수준을 조절합니다.
• Image Modifiers: Prompt를 정제하고 향상시키기 위해 추가 도구를 활용합니다.

예를 들어, 모델이 당신이 웃는 모습의 이미지를 생성하도록 원한다면, 다음과 같은 텍스트 프롬프트를 사용할 수 있습니다:

"내 웃음(hi-my)이 담긴 이미지를 생성하세요".

그러면 모델은 fine-tuning 과정에서 배운 "내 웃음(hi-my)"의 개념을 기반으로 이미지를 생성합니다.

Stable Diffusion Textual Inversion 다운로드

Stable Diffusion의 텍스트 역전은 간단한 과정으로 다운로드할 수 있습니다. 이러한 파일을 찾기 가장 좋은 장소는 Civitai와 Hugging Face입니다. 이 플랫폼은 텍스트-이미지 모델에 새로운 스타일이나 객체를 추가하는 데 사용할 수 있는 다양한 텍스트 역전 파일을 호스팅합니다.

원하는 목적에 맞는 텍스트 역전 파일을 찾았다면, 해당 파일을 다운로드하여 적절한 폴더에 넣으면 됩니다. AUTOMATIC1111의 Stable Diffusion WebUI와 같은 도구를 사용하는 경우, 이 폴더에 파일을 위치시킵니다:

*\stable-diffusion-webui\embeddings

예를 들어, "로봇-아트"를 위한 텍스트 역전 파일을 다운로드했다면, 이 파일을 임베딩 폴더에 넣으면 됩니다. 그런 다음 이 개념을 기반으로 이미지를 생성하고 싶을 때 "로봇-아트와 함께한 이미지 생성"과 같은 텍스트 프롬프트를 사용할 수 있습니다.

텍스트 역전 Stable Diffusion을 어디에 두어야 할까요?

텍스트 역전 파일을 다운로드한 후 다음 단계는 올바른 위치에 파일을 넣는 것입니다. AUTOMATIC1111의 Stable Diffusion WebUI와 같은 도구를 사용하는 경우, 파일을 다음 폴더에 넣어야 합니다:

*\stable-diffusion-webui\embeddings

중요한 점은, 텍스트 역전 파일은 사용 중인 도구에서 기대하는 형식과 일치해야 한다는 것입니다. 대부분의 텍스트 역전 파일은 *.pt 또는 *.safetensors 파일 확장자를 사용합니다. 다른 형식의 파일인 경우, 사용하기 전에 변환해야 할 수도 있습니다.

예를 들어, "로봇-아트"를 위한 텍스트 역전 파일을 다운로드했다면, 이 파일을 임베딩 폴더에 넣으면 됩니다. 그런 다음 이 개념을 기반으로 이미지를 생성하고 싶을 때 "로봇-아트와 함께한 이미지 생성"과 같은 텍스트 프롬프트를 사용할 수 있습니다.

Stabe Diffusion Prompts를 잘 작성하고 싶으신가요? Stable Diffusion prompt guide를 읽어보세요!

FAQ

1. Stable Diffusion Textual Inversion이란 무엇인가요? Stable Diffusion Textual Inversion은 기존 모델의 수정 없이 텍스트-이미지 모델에 새로운 스타일이나 객체를 추가할 수 있는 기술입니다. 이는 원하는 개념을 나타내는 새로운 키워드를 정의하고 언어 모델 내에서 해당 임베딩 벡터를 찾아내는 방식으로 작동합니다.

2. Stable Diffusion Textual Inversion 모델을 어떻게 학습하나요? Stable Diffusion Textual Inversion 모델을 학습하려면, 모델에 추가하려는 개념을 나타내는 이미지 세트를 수집해야 합니다. 이미지를 수집한 후 AUTOMATIC1111의 Stable Diffusion WebUI와 같은 도구를 사용하여 모델을 학습시킬 수 있습니다. 이 과정에는 이미지를 모델에 입력하고 개념을 구성하는 패턴과 특징을 학습시키는 것이 포함됩니다.

3. 어디에서 텍스트 역전 파일을 다운로드할 수 있나요? 텍스트 역전 파일은 Civitai와 Hugging Face와 같은 플랫폼에서 다운로드할 수 있습니다. 이러한 플랫폼은 텍스트-이미지 모델에 새로운 스타일이나 객체를 추가할 수 있는 다양한 텍스트 역전 파일을 제공합니다.