체크포인트 병합(checkpoint merger)- 스테이블 디퓨전 웹유아이

안녕하세요. 오늘은 체크포인트 병합에 관하여 알아보도록 하겠습니다. 해당기술은 따로 받아 설치하는 방식은 아닙니다. 기본적으로 스테이블디퓨전 들어있는 기능입니다. 말 그대로 체크포인트 두 가지 혹은 세 가지를 적당히 섞어서 이미지를 만들어주는 기능입니다. 이런 기능으로 인해 자신만의 스타일을 만들 수도 있을 것 같습니다. 그럼 방법에 관해서 알아보도록 하겠습니다.

 

1. 체크포인트 병합준비

체크포인트를 병합하기 위해서 최소 두 가지 이상의 체크포인트가 필요합니다. 이미 이 글을 찾아보셨다면 많은 체크포인트를 가지고 계시리라 생각됩니다. 체크포인트는 허깅페이스나 씨빗ai에 가시면 쉽게 받아보실 수 있습니다. 참고로 체크포인트 넣어야 하는 경로는 stable-diffusion-webui\models\Stable-diffusion 이곳입니다. 저는 3moonNIReal 과  CounterfeitV30 이 두 가지 모델을 사용하도록 하겠습니다.

 

2. 체크포인트 병합하기

3moonNIReal https://huggingface.co/philz1337/3moonnireal/tree/main 이곳에서 다운로드 가능합니다.

CounterfeitV30 모델은 최근 나온 애니그림체 모델 중에 개인적으로 가장 월등하다고 느끼는 모델입니다.

https://civitai.com/models/4468/counterfeit-v30 이곳에서 다운로드 가능합니다.

체크포인트는 다른 걸 사용하셔도 전혀 상관없습니다. 저는 차이가 확실히 나는 체크포인트로 이두가지를 선택해서 변화를 알아볼 계획입니다.

체크포인트병합ui

위의 이미지를 보시면 위쪽에 체크포인트 머지(checkpoint merger)라고 있습니다. 이텝을 클릭하면 위와 같은 ui를 보실 수 있습니다.

 ● 1번에서 저는 위에서 말씀드릴 것과 같이 3 moonNIReal을 선택합니다.

 ● 2번에서는 CounterfeitV30을 선택합니다.

 ● 3번에서는 가중치를 설정하실 수 있는데요 0에 가까울수록 첫 번째(A) 체크포인트와 같아지고 1에 가까울수록 두 번째(B) 체크포인트와 가까워집니다. 이 가중치를 적절히 사용하여 원하는 병합된 체크포인트를 만드는 것입니다.

 ● 4번 Safetensors 클릭해 줍니다. 안전성을 높여줍니다.

 ● 5번에서는 vae를 선택할 수 있는데요. 병합된 모델 자제에 vae기능을 넣어주는 기능입니다.. 이 부분은 선택사항이며 지금 현존하는 체크포인트들은 상당수가 vae가 포함되었다고 합니다. 일단 저는 넣어주도록 하겠습니다.

 ● 6번 머지(merge)를 누르면 병합이 시작됩니다. 시간은 대략 3분~5분 정도 걸립니다. 

 ● 7번과 같은 텍스트가 나오면 완료입니다. 

 

생성된 체크포인트의 이름은 0.5(a)+0.5(b) 이렇게 나올 것입니다.(가중치를 0.5로 했을 때)

확인은 좌측상단 체크포인트를 바꾸는 창에 가시면 만들어진 체크포인트가 있는 걸 확인할 수 있습니다.

병합된_체크포인트

저 같은 경우 위와 같은 3가지로 만들어보았습니다.

 

3. 체크포인트로 가중치별 이미지 차이

(a), 0.75(a)+0.25(b), 0.5(a)+0.5(b), 0.25(a)+0.75(b), (b) 이렇게 5가지로 이미지를 생성해 보도록 하겠습니다.

그리고 각각의 이미지가 얼마나 다른지 비교해 보도록 하겠습니다.

체크포인트병합_적용비교_이미지

위와 같은 이미지가 나왔습니다. 왼쪽으로 갈수록 리얼하게 오른쪽으로 갈수록 에니그림에 가깝게 변하는 걸 알 수 있습니다. 이를 활용하면 어딘가에서 구한 체크포인트가 아닌 더 많은 다양한 스타일의 체크포인트를 병합하여 만들어 낼 수 있습니다. 이상입니다.