1. ComfyUI에서 Flux 2 Klein 모델을 활용한 AI 이미지 편집 및 생성 [0]

thumbnail ComfyUI에서 Flux 2 Klein 모델을 사용하여 이미지를 생성하고 편집하는 방법을 설명한다. Flux 2 Klein은 저사양에서도 빠른 이미지 생성 및 편집이 가능하며, 텍스트 프롬프트와 참조 이미지를 활용해 기존 이미지를 자연스럽게 수정할 수 있다.

1.1. Flux 2 Klein 모델 소개 및 설치 [0]

  1. Flux 2 Klein 모델의 특징 [0]

    1. Flux 2 Klein은 Black Forest Labs에서 개발한 이미지 AI 모델이다. [1]
    2. 저사양 환경에서도 빠르게 작동하며, 적은 VRAM으로도 사용할 수 있다. [2]
    3. 텍스트로부터 이미지를 생성하거나, 기존 이미지를 편집하는 두 가지 주요 기능을 제공한다. [3]
    4. 'Klein'은 독일어로 '작다'는 의미로, 더 큰 모델에 비해 빠르고 반응성이 좋으면서도 높은 이미지 품질을 유지하도록 설계되었다. [6]

  2. 워크플로우 다운로드 및 설치 [8]

    1. 워크플로우 파일은 Discord의 Pixaroma Workflows 채널에서 무료로 다운로드할 수 있다. [8]
    2. 'episode 04' 워크플로우 파일을 다운로드하여 압축을 해제한다. [9]
    3. 압축 해제한 파일을 Comfy UI의 user/workflows 폴더에 넣는다. [12]
    4. Comfy UI를 실행하고 왼쪽의 워크플로우 메뉴에서 새로고침 버튼을 눌러 추가된 워크플로우를 불러온다. [21]

  3. Flux 2 Klein 모델 버전별 비교 [20]

    1. 워크플로우는 4B (40억 개 파라미터)와 9B (90억 개 파라미터) 두 가지 버전으로 제공된다. [20]
    2. 9B 버전은 더 똑똑하고 결과물의 품질이 좋지만, 속도가 느리고 더 많은 VRAM을 요구할 수 있다. [27]
    3. 두 모델 모두 6GB VRAM과 64GB 시스템 RAM 환경에서 문제없이 작동했다. [28]
    4. 9B 모델은 상업적 사용이 제한되지만, 생성된 이미지의 상업적 사용은 가능하다. [30]
    5. 두 모델 모두 4단계로 작동하는 distilled 버전으로, 더 빠르고 좋은 결과를 제공한다. [31]
    6. 4B 버전은 Quen 3 텍스트 인코더를 사용하고, 9B 버전은 8B 텍스트 인코더를 사용한다. [33]
    7. 워크플로우에는 각 모델에 대한 링크가 포함되어 있어 혼동을 방지한다. [36]

1.2. 이미지 생성 워크플로우 구축 [37]

  1. 필요 모델 다운로드 및 배치 [37]

    1. 이미지 생성 워크플로우는 비교적 간단하며, 이후 이미지 편집 및 인페인팅에 활용할 수 있다. [38]
    2. 워크플로우 왼쪽의 노트에서 모델 다운로드 링크를 확인할 수 있다. [40]
    3. 확산 모델(Diffusion Model)은 models/diffusion-models/flux 2 폴더에 저장한다. [41]
    4. 텍스트 인코더(Text Encoder)는 models/text-encoders 폴더에 저장한다. [46]
    5. VAE 모델은 models/VAE 폴더에 저장한다. [50]
    6. 9B 모델의 경우, 확산 모델은 동일한 flux 2 폴더에, 텍스트 인코더는 text-encoders 폴더에 저장하며, VAE는 4B 모델과 동일한 것을 사용한다. [53]
    7. 모델 다운로드가 완료되면 Comfy UI를 새로고침한다. [58]

  2. 워크플로우 실행 및 결과 확인 [59]

    1. 각 노드에서 모델이 올바르게 선택되었는지 확인한다. [59]
    2. 워크플로우를 실행하여 이미지를 생성한다. [61]
    3. 4B 버전은 약 1초, 9B 버전은 약 1.8초 정도 소요되며, VRAM이 적을수록 속도 차이가 커진다. [66]
    4. 9B 버전이 4B 버전보다 더 나은 품질의 결과를 제공한다. [68]

  3. 이미지 생성 워크플로우 직접 구축 [71]

    1. 빈 워크플로우를 생성하고 low diffusion model 노드를 추가한다. [72]
    2. 9B 모델을 선택한다. [75]
    3. load clip 노드를 추가하고 타입을 flux 2로 변경한 후, Quinn 3 8B 텍스트 인코더를 선택한다. [78]
    4. load VAE model 노드를 추가하고 Flux 2 VAE를 선택한다. [81]
    5. clip text and code 노드를 추가하고 'positive prompt'로 이름을 변경한다. [84]
    6. K sampler 노드를 추가하고 모델, 클립, 텍스트 인코더를 연결한다. [87]
    7. 음수 프롬프트 입력이 필요 없으므로 conditioning zero out 노드를 추가하여 K sampler의 negative 입력에 연결한다. [92]
    8. empty flux to latent 노드를 추가하고 K sampler의 latent 입력에 연결한다. [95]
    9. VAE decode 노드를 추가하고 VAE 모델을 연결한다. [100]
    10. save image 노드를 추가하여 최종 이미지를 저장한다. [102]
    11. 생성된 이미지의 품질을 개선하기 위해 steps를 4로, CFG 값을 1로 조정한다. [107]
    12. 프롬프트를 입력하고 워크플로우를 다시 실행하면 원하는 이미지를 얻을 수 있다. [108]
    13. 생성된 워크플로우는 Discord에서 다운로드 가능한 워크플로우와 동일하다. [110]

1.3. 이미지 편집 워크플로우 구축 [114]

  1. 이미지 생성 워크플로우를 편집 워크플로우로 변환 [114]

    1. 기존 이미지 생성 워크플로우에 reference latent 노드 두 개를 추가한다. [115]
    2. reference latent는 참조 이미지를 사용하여 구성, 스타일, 캐릭터 일관성을 유지하도록 돕는다. [122]
    3. 첫 번째 reference latent는 positive에, 두 번째는 negative에 연결한다. [123]
    4. positive와 negative에서 각각 reference latent 노드로 연결한다. [124]
    5. 음수 프롬프트가 없으므로 conditioning zero out 노드를 통과시킨다. [127]
    6. load image 노드를 추가하여 참조할 이미지를 불러온다. (예: bunny explorer 이미지) [131]
    7. image scale to total pixels 노드를 사용하여 이미지 크기를 약 1메가픽셀로 조정한다. [134]
    8. VAE encode 노드를 사용하여 불러온 이미지를 latent로 인코딩한다. [139]
    9. 인코딩된 latent를 reference latent 노드에 연결한다. [141]
    10. VAE 모델도 연결한다. [144]

  2. 이미지 크기 자동 조절 기능 추가 [145]

    1. get image size 노드를 추가하여 불러온 이미지의 너비와 높이를 가져온다. [146]
    2. 가져온 이미지 크기 정보를 empty flux to latent 노드에 연결하여 생성될 이미지의 크기가 참조 이미지와 일치하도록 한다. [149]

  3. 편집 워크플로우 실행 및 결과 확인 [153]

    1. 프롬프트에 원하는 편집 내용을 입력한다. (예: "replace the clothes with orange clothes") [155]
    2. 워크플로우를 실행하면 프롬프트에 따라 이미지가 수정된다. (예: 토끼가 주황색 옷을 입게 됨) [158]
    3. image compar node를 사용하여 원본 이미지와 편집된 이미지를 비교할 수 있다. [161]
    4. image compar 노드에 원본 이미지(축소 후)와 편집된 이미지를 연결하면, 마우스를 움직여 두 이미지를 비교할 수 있다. [167]
    5. Discord에서 다운로드 가능한 워크플로우는 이와 동일하며, 'one image edit'으로 명명되어 있다. [171]

1.4. 편집 워크플로우 활용 예시 [174]

  1. 다양한 편집 시나리오 [174]

    1. Discord 워크플로우에는 다양한 편집 프롬프트 아이디어가 포함된 숨겨진 노트가 있다. [175]
    2. 배경 교체: 토끼 이미지의 배경을 자연스럽게 변경하고 조명까지 맞춰준다. [184]
    3. 환경 변경: 토끼를 오두막 내부나 밤 풍경, 눈 오는 풍경 등으로 변경한다. [189]
    4. 의상 및 소품 변경: 토끼의 배낭을 노란색으로 바꾸거나, 다른 옷으로 변경한다. [198]
    5. 포즈 및 표정 변경: 토끼를 달리는 포즈로 만들거나 슬프고 우는 표정으로 변경한다. [202]
    6. 아트 스타일 변경: 수채화 일러스트, 셀 셰이딩 카툰 스타일 등으로 변경한다. [206]
    7. 의상 재질 변경: 검은색 가죽 의상으로 변경한다. [210]
    8. 객체 추가 및 제거: 배낭을 제거하고 랜턴을 들게 한다. [212]
    9. 카메라 워크: 크롭 또는 얼굴 줌인 등을 적용한다. [220]
    10. 색상 팔레트 변경: 파스텔 톤으로 변경한다. [221]
    11. 텍스트 및 라벨 추가: 'pixa'라는 단어가 적힌 표지판을 추가한다. (9B 모델은 텍스트 처리가 가능하나 완벽하지 않음) [223]
    12. 카메라 각도 변경: 토끼의 측면, 후면 등 다양한 각도로 변경한다. [228]

  2. 로고 및 브랜딩 활용 [230]

    1. 흑백 로고 이미지를 사용하여 흰색 머그잔이나 커피 봉투에 로고를 입힌다. [230]
    2. 복잡한 요청(로고와 텍스트 동시 적용 등)은 실패할 수 있다. [237]
    3. 평면 로고를 3D 렌더링처럼 변환: 간단한 로고의 경우 매우 빠르고 효과적이다. [247]
    4. 텍스처 및 재질 적용: 잉크 번짐 효과, 벽에 페인트칠된 듯한 효과, 섬유 질감 등을 적용한다. [249]
    5. 금박 목업 스타일 재현이 가능하다. [254]

  3. 스케치 채색 및 벡터화 [256]

    1. 스케치 이미지를 깨끗한 단색으로 채색하고 카툰 셀 셰이딩 스타일로 변환한다. [258]
    2. 색상 지정을 하지 않으면 무작위 색상이 적용되며, 원하는 색상을 프롬프트에 추가하면 더 정확한 결과를 얻을 수 있다. [261]
    3. 스케치를 깨끗한 벡터 디자인처럼 보이게 만들 수 있다. [265]

1.5. 실제 인물 이미지 편집 및 인페인팅 [268]

  1. 실제 인물 이미지 편집 [268]

    1. 배경 교체: 여성 이미지의 배경을 사무실이나 어두운 배경으로 변경한다. [270]
    2. 조명 변경: 이미지의 조명을 밝게 조정하여 얼굴을 더 잘 보이게 한다. [275]
    3. 의상 변경: 옷 색상, 재질 변경 또는 블라우스를 완전히 교체한다. [278]
    4. 표정 및 헤어스타일 변경: 감정이나 헤어스타일을 바꿔본다. [280]
    5. 피부 보정 및 메이크업: 피부를 보정하고 아이라이너, 컨투어 등 메이크업을 적용한다. [285]
    6. 액세서리 추가: 안경이나 주얼리를 추가한다. [289]
    7. 포즈 변경: 포즈 변경 시, 원본 이미지와의 거리나 복잡성에 따라 오류가 발생할 수 있다. [290]
    8. 손 문제: 손이 부자연스럽게 생성되는 문제가 발생할 수 있으며, 시드 변경이나 다른 모델(QuenEdit) 사용으로 개선할 수 있다. [292]
    9. 단일 요소 변경: 포즈나 환경을 변경할 때, 한 번에 하나씩 변경하는 것이 일관성을 유지하는 데 도움이 된다. [297]

  2. 인페인팅 워크플로우 [299]

    1. 인페인팅 워크플로우 구성: inpainting crop, inpainting conditioning, stitch 노드가 추가된다. [300]
    2. 마스크 편집: 이미지에서 편집할 영역을 마스크로 지정한다. [307]
    3. 마스크 영역 지정: 목걸이를 추가하기 위해 목 주변 영역을 마스크로 지정한다. [312]
    4. 프롬프트 입력: "add a pearl necklace"와 같이 원하는 내용을 프롬프트에 입력한다. [324]
    5. 작동 방식:
      1. 마스크된 영역을 포함한 이미지가 inpainting crop 노드로 전달된다. [325]
      2. 모델이 해당 영역을 이해하도록 주변 맥락을 포함하여 이미지를 생성한다. [328]
      3. 생성된 이미지는 원본 이미지의 마스크된 부분에 자연스럽게 합성된다. [330]
      4. stitch 노드를 통해 최종 이미지가 완성된다. [335]
    6. 예시: 토끼에게 핑크색 티셔츠를 입히거나, 개에게 모자를 씌우는 등 다양한 인페인팅 작업이 가능하다. [352]
    7. 크기 조정: 인페인팅 시, 모델이 잘 작동하는 크기로 이미지를 확대하여 생성한 후 원본 크기로 다시 축소하여 합성한다. [361]

1.6. 다중 이미지 편집 및 고급 활용 [373]

  1. 다중 이미지 편집 워크플로우 [373]

    1. 두 개 이상의 이미지를 참조하여 편집하는 워크플로우를 사용할 수 있다. [373]
    2. 최대 네 개의 이미지를 참조로 사용할 수 있다. [375]
    3. 예시: 개의 사진과 로고 이미지를 사용하여, 로고가 새겨진 목걸이를 한 개 이미지를 생성한다. [377]
    4. 다중 이미지 편집은 단일 이미지 편집보다 안정성이 떨어질 수 있다. [381]
    5. 이미지 비율 수동 설정: 여러 이미지의 비율이 다를 경우, empty flux to latent 노드에서 원하는 비율을 수동으로 설정할 수 있다. [386]

  2. 마무리 및 채널 홍보 [390]

    1. 시청자에게 감사를 표하고 채널 구독 및 댓글을 독려한다. [391]
    2. Discord 커뮤니티 참여를 안내한다. [394]