1. 원하는 포즈로 사진 바꾸기: IPAdapter, Openpose, FaceID 활용법 [0]

thumbnail 입력한 사진의 포즈를 원하는 대로 바꾸면서도 기존 이미지의 스타일과 얼굴 특징을 유지하는 방법을 알아본다. IPAdapter, Openpose, FaceID를 활용하여 새로운 이미지를 생성하는 과정을 ComfyUI를 통해 단계별로 살펴본다. [0]

1.1. 기본 설정 및 Openpose를 이용한 포즈 변경 [0]

  1. 기존 워크플로우 불러오기 및 수정 [6]
    • 이전 영상에서 사용했던 얼굴 따라하기 워크플로우를 불러온다. [6]
    • 페이스 아이디와 페이스 스왑 기능만 남기고 다른 노드는 삭제하여 준비한다. [7]
  2. Openpose를 활용한 포즈 변경 설정 [9]
    • Openpose를 추가하여 입력 이미지의 포즈를 새로운 이미지에 적용하도록 설정한다. [9]
    • 입력한 사진의 포즈를 추출하기 위해 DW 프리 프로세서를 사용한다. [12]
    • 프리 프로세서에서 나온 이미지를 컨트롤 넷에 연결한다. [13]
    • 새로운 포즈를 적용할 이미지(로드 이미지)를 불러와 프리 프로세서에 입력으로 연결한다. [14]
    • 로드 이미지와 컨트롤 넷을 연결하고, 오픈 포즈 이미지 미리보기를 추가하여 포즈 변경 결과를 확인한다. [15]
    • 노드들을 정리하고 컨트롤 넷 연결을 완료한다. [16]
  3. 포즈 변경 결과 확인 [19]
    • 설정된 내용을 바탕으로 이미지를 생성하면, 입력한 사진의 포즈를 잘 따라하는 결과가 나온다. [19]

1.2. IPAdapter를 이용한 이미지 유사성 강화 [21]

  1. IPAdapter 추가 및 설정 [22]
    • 생성할 이미지의 분위기와 스타일을 입력 이미지와 비슷하게 만들기 위해 IPAdapter를 추가한다. [22]
    • IPAdapter는 글자 대신 이미지를 프롬프트처럼 사용하는 기능이다. [24]
    • 플러스 모델을 선택하고, 필요한 클립 비전 노드를 연결한다. [25]
    • 입력 이미지를 IPAdapter에 연결하고, 모델 연결을 완료한다. [27]
    • 입력 이미지에 맞는 생성을 위해 불필요한 프롬프트는 삭제하고 화질 관련 프롬프트만 남긴다. [29]
    • 설정 후 이미지를 생성하면, 미묘하지만 비슷한 분위기의 이미지가 생성된다. [31]
  2. 프롬프트 강화 및 최적화 [33]
    • 이미지 생성에 도움이 되도록 태그 노드를 추가한다. [34]
    • 이미지에서 프롬프트를 추출하는 노드와 텍스트를 합치는 노드를 연결한다. [35]
    • 이미지에서 뽑아낸 프롬프트 텍스트에 화질 관련 프롬프트를 옮겨 담을 텍스트 노드를 추가한다. [37]
    • 화질 관련 프롬프트를 입력하고, 이를 텍스트 1에 연결한다. [38]
    • 두 텍스트를 합쳐 프롬프트 노드에 입력받도록 변경하고 연결한다. [40]
    • 생성된 프롬프트를 확인할 수 있는 노드를 추가한다. [42]
    • 프롬프트 연결 시 콤마가 빠진 부분을 수정한다. [45]
    • 모든 준비가 완료되면, 페이스 스왑 노드를 켜고 최종 이미지를 생성한다. [47]

1.3. 다양한 이미지 및 포즈 적용 결과 [47]

  1. 다양한 이미지와 포즈 적용 [47]
    • 정리된 노드들을 바탕으로 최종 이미지를 생성하고, 다른 이미지도 변환해 본다. [49]
    • 생성된 이미지들은 분위기, 조명 등이 원본과 비슷하게 잘 따라 생성된다. [51]
    • 체크포인트 모델의 영향으로 보이지 않는 부분(바지 등)도 자연스럽게 생성된다. [54]
    • 다른 포즈 이미지를 적용했을 때, IPAdapter의 강력함으로 인해 컨트롤 넷의 포즈를 이기는 경우도 발생할 수 있다. [56]
    • 애니메이션 이미지에도 적용 가능하며, 실사 모델로도 어느 정도 표현이 가능하지만 만화 전용 체크포인트를 사용하면 더 좋은 결과를 얻을 수 있다. [58]
    • 정보가 거의 없는 이미지나 만화 스타일 이미지에서도 그럴듯하게 생성된다. [61]
    • 손가락 표현이 아쉬운 경우도 있으나, 이는 추후 핸드 리파인 워크플로우와 합쳐 개선할 수 있다. [66]
  2. 가로 이미지 포즈 적용 및 사이즈 조절 [71]
    • 가로 이미지에 포즈를 적용할 때, 사이즈가 달라 포즈 표현이 제대로 되지 않는 경우가 있다. [71]
    • 이 경우, 생성 이미지 사이즈를 변경하여 문제를 해결한다. [73]

1.4. 활용 가능성 및 마무리 [74]

  1. 포즈 변경 외 다양한 활용 [75]
    • 이번 영상에서는 Openpose를 이용해 포즈만 변경했지만, 비슷한 원리로 배경, 인물, 스타일 등 다양하게 접목시킬 수 있다. [75]
  2. 마무리 인사 [76]
    • 영상이 도움이 되었기를 바라며, 다음에도 좋은 영상으로 찾아뵙겠다는 인사로 마무리한다. [76]