1. WAN 2.2 영상 생성 모델 소개 및 특징 [0]

thumbnail 새롭게 출시된 WAN 2.2 영상 생성 모델은 기존 모델 대비 혁신적인 성능을 제공하며, 특히 하이노이즈와 로우노이즈를 구분하여 작업하는 방식을 통해 고품질 비디오 생성을 가능하게 한다.

1.1. WAN 2.2 모델의 핵심 혁신: 하이노이즈와 로우노이즈 분리 [10]

  1. WAN 2.2 모델은 MOE 아키텍처를 채택하여 작업을 진행한다. [10]
  2. 이는 하이노이즈와 로우노이즈로 작업을 구분하는 방식이다. [11]
    1. 하이노이즈 단계에서는 영상의 전반적인 레이아웃을 생성한다. [12]
    2. 로우노이즈 단계에서는 디테일한 세부 사항을 다듬는다. [12]
  3. 이러한 구분된 작업 방식 덕분에 더욱 고품질의 비디오 생성이 가능해진다. [13]

1.2. WAN 2.2 모델의 종류 및 특징 [15]

  1. 오빌리언 모델:
    • TI2V 모델로, 텍스트(T2V)와 이미지(I2V) 모두를 통해 비디오 생성이 가능하다. [16]
    • 용량은 약 10GB이다. [23]
  2. 14 빌리언 모델:
    • T2V와 I2V로 나뉘어져 있다. [19]
    • FP16 모델은 28GB 이상으로 용량이 크지만, FP8 모델은 약 14GB이다. [25]
    • 이 모델은 하이노이즈와 로우노이즈 모델로 구분되어 있어, 두 모델을 모두 다운로드하여 사용해야 한다. [27]
  3. 모델 다운로드 링크는 설명란에 제공된다. [20]
  4. 다운로드한 모델은 모델 폴더의 디퓨전 모델즈 폴더에 저장한다. [30]

2. ComfyUI를 활용한 WAN 2.2 모델 워크플로우 및 영상 생성 [31]

thumbnail ComfyUI는 WAN 2.2 모델을 지원하며, 최신 버전으로 업데이트 후 다양한 워크플로우를 통해 영상을 생성할 수 있다.

2.1. 오빌리언 모델 워크플로우 및 영상 생성 [35]

  1. ComfyUI 상단 메뉴에서 워크플로우 > 브라우저 템플릿 > 비디오를 선택하여 워크플로우를 불러온다. [34]
  2. 모델 로딩:
    • 2.2 TI2V 오빌리언 모델을 선택한다. [38]
    • 텍스트 인코더는 UMT5 모델을 사용한다. [39]
    • VA 모델은 2.2 전용 모델을 선택하며, 이 모델은 압축률이 좋아 용량이 작다. [40]
  3. 이미지 그룹 설정:
    • 텍스트로 영상을 생성하기 위해 이미지 노드는 바이패스 처리한다. [42]
    • 영상의 해상도는 1280x704로 설정한다. [43]
    • 랭스는 생성할 영상의 총 프레임 수량으로, 121프레임으로 설정한다. [44]
  4. 프롬프트 설정:
    • 긍정 프롬프트: "1970년대 복고풍 지하철 여관에서 음악을 연주하고 낡은 재킷을 입고 기타를 연주한다. 출근하는 사람들이 서둘러 지나가고 일부 사람들이 모여 음악을 들으며 카메라는 천천히 오른쪽으로 움직이며 배경에는 오래된 지하철 표지판과 얼룩이 있는 벽이 보인다." [47]
    • WAN 2.2 모델은 복잡한 프롬프트와 화면 구성을 잘 이해하고 표현한다. [49]
    • 부정 프롬프트: 중국어 키워드를 그대로 유지한다. [51]
  5. K-Sampler 설정:
    • 시프트 값은 8이 적용된다. [52]
    • 스텝스는 20, CFG는 5로 설정한다. [53]
    • 샘플러는 UniPC, 스케줄러는 Simple을 선택한다. [54]
  6. 영상 저장 설정:
    • 크리에이트 비디오에서 FPS를 24로 설정한다 (이전 버전은 16). [55]
    • 총 121프레임, 24 FPS로 약 5초 길이의 영상이 생성된다. [57]
    • 세이브 비디오 노드에서 파일 이름, 포맷(MP4), 코덱(H264)을 설정한다. [58]
  7. 영상 생성 결과:
    • 5초 영상 생성에 약 9분 소요되었다. [64]
    • 전체적인 화면 구성과 일관성 유지 면에서 좋으나, 배경 일부 요소는 뭉개지는 현상이 있다. [65]
    • 기타 치는 손의 움직임은 훌륭하게 표현되었다. [68]

2.2. 이미지 투 비디오 (I2V) 기능 활용 (오빌리언 모델) [70]

  1. 워크플로우에서 이미지 노드를 활성화하고 참조 이미지를 추가한다. [71]
  2. 프롬프트 입력은 필수는 아니지만, 기괴한 연출을 방지하기 위해 짧게라도 입력하는 것이 권장된다. [75]
    • 프롬프트: "아름다운 여성이 기타를 치면서 노래를 부른다." [77]
  3. 나머지 설정은 유지하고 영상을 생성한다. [78]
  4. 영상 생성 결과:
    • 기타 치는 손가락 움직임이 자연스럽고, 노래에 심취한 표정 연기가 뛰어나다. [80]

2.3. 14 빌리언 모델 워크플로우 및 영상 생성 [82]

  1. 모델 설정:
    • 하이노이즈와 로우노이즈 모델 두 개를 동시에 사용한다. [84]
    • 각 모델에 시프트 값을 8씩 적용한다. [86]
  2. K-Sampler 설정:
    • 두 개의 어드밴스 K-Sampler를 사용하여 두 번의 샘플링 과정을 거친다. [87]
    • 첫 번째 K-Sampler는 전체 20 스텝 중 10 스텝까지 진행 (엔드 스텝 10). [93]
    • 두 번째 K-Sampler는 첫 번째 K-Sampler의 결과부터 이어서 진행 (스타트 스텝 10). [94]
    • 첫 번째 K-Sampler에서는 add_noise와 return_with_noise 옵션을 enable로 설정한다. [95]
    • 두 번째 K-Sampler에서는 두 옵션을 disable로 설정하여 비활성화한다. [95]
      • add_noise: 입력된 레이턴트 이미지에 노이즈를 추가하는 역할. [96]
      • return_with_noise: 생성된 레이턴트 이미지에서 노이즈를 유지한 상태로 출력할지 결정. [96]
      • 첫 번째 샘플러는 노이즈를 추가하고 10 스텝 후 노이즈를 유지한 상태로 출력하며, 두 번째 샘플러는 노이즈를 추가하지 않고 10 스텝부터 이어서 진행하며 노이즈를 완전히 제거하여 출력한다. [97]
  3. 영상 해상도 및 길이:
    • 해상도는 832x480으로 설정한다. [100]
    • 랭스는 81로 설정한다. [101]
  4. 프롬프트 설정: "비가 내리고 미소를 짓는 젊은 여성을 클로즈업하고 얼굴과 속눈썹에 빗방울이 반짝인다." [102]
  5. 영상 생성 결과:
    • 매우 퀄리티 높고 자연스러운 영상이 생성되었다. [106]
    • 비 오는 배경, 미소 짓는 인물, 빗방울 표현이 뛰어나다. [107]

2.4. 14 빌리언 이미지 투 비디오 (I2V) 워크플로우 [109]

  1. 모든 노드 구성은 14 빌리언 텍스트 투 비디오 워크플로우와 동일하며, 이미지 노드만 추가된다. [109]
  2. 참조 이미지: 화이트 드래곤 워리어 이미지를 사용한다. [110]
  3. 모델: 14 빌리언 i2V 하이노이즈와 로우노이즈 모델을 사용한다. [111]
  4. 프롬프트: "화이트 드래곤 워리어가 서 있고 카메라가 전 세계에 천천히 다가가거나 주위를 맴돈다." [112]
  5. 영상 해상도 및 길이: 해상도는 832x480, 랭스는 81로 설정한다. [114]
  6. 영상 생성 결과:
    • 화이트 드래곤 워리어가 멋지게 표현되었고, 카메라 무빙 또한 워리어를 돋보이게 잘 연출되었다. [118]
    • 영화의 한 장면 같은 퀄리티를 보여준다. [120]

2.5. GGUF 모델 소개 및 활용 [122]

  1. 14 빌리언 모델은 용량이 크고 VM 부족 문제를 야기할 수 있어, GGUF 모델을 추가로 소개한다. [122]
  2. GGUF 모델은 다양한 용량(5GB ~ 15GB)으로 제공되며, 컴퓨터 사양에 맞는 모델을 다운로드할 수 있다. [125]
  3. 다운로드한 GGUF 모델은 모델즈 폴더의 유닛 폴더에 저장한다. [129]
  4. 워크플로우는 제공되는 PNG 이미지를 ComfyUI 화면에 드래그하여 가져온다. [130]
  5. GGUF 노드 두 개에서 각각 하이노이즈와 로우노이즈 모델을 선택하여 사용한다. [131]
  6. GGUF 모델은 컴퓨터 사양이 부족한 환경에서도 사용할 수 있으며, 퀄리티 차이가 크지 않다. [132]
  7. GGUF 모델은 컴퓨터 사양이 부족한 사용자에게 추천된다. [135]