1. ComfyUI 내에서 Lora 모델 학습시키기: 외부 도구 불필요 [0]

thumbnail

이제 복잡한 외부 도구 없이 단 하나의 노드를 사용하여 ComfyUI 내에서 Lora 모델을 직접 학습시킬 수 있다.

1.1. Lora 학습을 위한 환경 및 데이터셋 준비 [7]

  1. 필수 노드 설치 및 환경 설정 [7]
    1. Lora 학습을 위한 GitHub 링크에 있는 Lora Training by Larry Jane 노드를 설치해야 한다. [7]
    2. 이 노드는 이미지별 캡션 텍스트 파일을 생성하는 기능도 포함하고 있다. [9]
    3. 이 노드를 사용하려면 특정 버전의 PyTorch 12.1이 필요하므로, 기존 ComfyUI 설치와 별도로 해당 버전을 가진 새로운 ComfyUI 설치를 준비하는 것이 좋다. [25]
  2. 데이터셋 이미지 준비 [10]
    1. AI를 학습시킬 이미지 데이터셋이 필요하며, 이 데이터셋은 학습할 스타일(예: 스케치 스타일)을 담고 있어야 한다. [11]
    2. 최소 25개에서 50개 정도의 이미지를 권장하며, 본 시연에서는 24개의 스케치 이미지를 사용했다. [15]
    3. 이미지 형식은 PNG이며, 크기가 동일할 필요는 없다. [17]
    4. 데이터셋 폴더 구조는 이 노드 사용에 매우 중요하며, 이미지를 담은 폴더는 반드시 상위 database 폴더 안에 위치해야 한다. [19]
    5. 데이터셋 폴더 이름은 S와 Lora 이름(예: S_sketches)으로 지정해야 한다. [21]

1.2. 데이터셋 이미지 캡션 생성 단계 [23]

  1. 캡션 생성 워크플로우 구성 [23]
    1. 데이터셋 준비 후, 가장 먼저 이미지에 대한 텍스트 캡션을 생성해야 한다. [23]
    2. 필요한 노드는 Lora Caption Load, W14 Tagger, Lora Caption Save이다. [28]
    3. W14 Tagger는 ComfyUI Manager에서 다운로드할 수 있다. [30]
    4. 노드 연결은 Image List를 Image에, String을 Text에, Path를 Path에 연결한다. [37]
    5. W14 Tagger의 기본 설정(Default settings)은 그대로 사용해도 무방하다. [41]
  2. 캡션 생성 및 결과 확인 [43]
    1. Prompt를 실행하면, AI가 데이터셋의 각 이미지를 분석하고 그 내용을 설명하는 텍스트 파일을 생성한다. [46]
    2. 이 텍스트 파일은 AI가 학습 시 각 이미지가 무엇인지 이해하는 데 도움을 준다. [48]
    3. 생성된 텍스트 파일의 내용(단어)을 Lora의 트리거 단어로 사용할 수 있지만, 보통은 Lora의 이름 자체를 트리거 단어로 사용해도 잘 작동한다. [50]
    4. 데이터베이스 폴더를 확인하면, 각 이미지에 해당하는 텍스트 파일이 생성된 것을 볼 수 있다. [53]

1.3. Lora 학습 노드 설정 및 실행 [56]

  1. Lora 학습 노드 불러오기 [56]
    1. 캡션 생성이 완료되면, LJR Lora Training in ComfyUI 노드를 불러온다. [58]
    2. 이 노드는 ComfyUI 내에서 Lora 학습을 가능하게 하는 핵심 노드이다. [59]
  2. 주요 설정 항목 구성 [63]
    1. Checkpoint Name: 학습의 기반이 될 기본 체크포인트 이름을 설정한다. [63]
    2. Path to Images: 데이터셋 폴더가 있는 상위 폴더(예: database)의 경로만 입력해야 하며, 데이터셋 폴더 이름 자체는 포함하지 않는다. [64]
    3. Batch Size: 1로 유지한다. [64]
    4. Max Train Epochs: 40 이상을 권장하며, 본 시연에서는 50으로 설정했다. [64]
    5. Save Every at Epoch: 10으로 설정하면, 10개 이미지마다 학습된 Lora를 저장한다. [64]
    6. Output Name: 저장될 Lora의 원하는 이름을 설정한다(예: SK). [64]
    7. Clip Skip: 2로 유지한다. [64]
    8. Output Directory: 학습된 Lora가 저장될 경로를 models/Lora로 설정하면, 자동으로 해당 폴더에 저장된다. [64]
  3. 학습 실행 및 결과 확인 [82]
    1. 설정 완료 후 Prompt를 실행하면 학습이 시작된다. [82]
    2. 학습 과정에서 이미지 버킷을 찾고, 버킷을 만들고, Lora를 만드는 단계가 진행된다. [84]
    3. 본 시연에서는 학습에 약 21~23초가 소요되었다. [86]
    4. 학습이 완료된 Lora를 워크플로우에 업로드하고 프롬프트에 적용하여 원하는 스케치 스타일이 생성되는 것을 확인했다. [87]
    5. 이 모든 과정은 Kaggle, Google Colab 등 ComfyUI 외부 도구 없이 오직 ComfyUI 내에서만 완료되었다. [95]