ControNet을 Depth를 활용한 손 수정 / xformers 기능추가하기

이전포스팅에서 진행했던 이미지.

손을 수정해보기로 하자

전포스팅에서 만든이미지

컨트롤넷으로 수정하기로 했기때문에 컨트롤넷 텝을 열서 보도록하자

1번 enabie(인에이블)을 클릭해야 컨트롤넷이 활성화 된다.

ControlNet v1.1.455 <- 컨트롤넷 버젼.(참고)

2번과 3번활성화. 3번 allow preview는 앞으로 하고자하는 걸 먼저 확인 할 수 있도록 해주는 기능이다.

6번 뎁스 기능을 사용해보자

4번 뎁스 핸드 리파인을 선택. 컨트롤넷 1.1.455 버전에서는 5번이 자동으로 맞춰진다.

 

스테이블 디퓨전 컨트롤넷 화면

아니 그런데 프리뷰 화면에서 손을 잡아내지 못하였다.

이미지에 손이 애매하게 보였기 때문인 것 같다.손이 확실히 보이는 부분만 적용되는 것 같다.

그렇다면 손이 확실히 보이는 이미지로 진행해 보도록하자.

 

이런 이미지 확실히 손이 이상하게 생긴 그림이다 이정도라면 거진 떠먹여주는데 뎁스에서 알아줬으면 좋겠다. = = 를 생성해보았다

 

이런형태의 손을 얻어낼 수 있었다. 신기하긴 한데 사용할 수 있는 자세가 제한적이라 자주쓰일 것 같지는 않다.자 그럼 손을 적용시켜보자 그러기 위해서는 이미지 투 이미지(img2img)로 넘어가야한다. 이미지 투 이미지(img2img) 넘어가  컨트롤넷에서 다시 Enable (인에이블) 클릭 Pixel Perfect(픽셀 퍼펙트) 클릭, 그리고 위의 4번 5번도 depth_hand_refiner(뎁스 헨드 리파인)로 되어있는지 확인한다. 이후 Inpaint에서 바뀔부분의 손을 색칠해준다.

그럼 준비는 모두이다.

 

 

오늘쪽그림처럼 변경되었다. 완벽하지는 않지만 아까보다는 확실히 좋아보인다.

여기서 조금더 좋아보이게 사이즈업 해보자. inpaint에서 img2img로 다시 가져온다.

그리고 리사이즈업 진행방법은 아래처럼 controlnet에서 depth로 이미지를 유지시킨후 진행한다.

그럼 이렇게 좀더 명확해진 손을 볼수있다. (아직 한쪽손가락이 6손이지만.;)

 

다른이미지를 다시 생성해  같은 방법으로 진행한결과 아래 처럼 완벽하지는 않지만 봐줄만한 손이 나오는걸 알수있습니다.

 

 

컨트롤 넷 유닛 추가하여 다른기능도 더 넣으면 아주 조금더 다듬어지는 모습을 볼 수는 있다.

-----------------------------------------------------------------------------------------------------------------------------------------------------------------

 

번외 

 

 

스테이블 디퓨전의 렌더링 속도를 올려주는 단순한 명령어.

실행파일 webui-user 파일을  탐색으로 열어줌

그리고 아래 보이는 문구를 넣어줌.

 

--xformers --reinstall-xformers 부분을 넣어준것

 

 

 

--xformers --reinstall-xformers 를 추가.

 

비교해보면 확실히 속도가 빨라지는걸 알수있음.