세밀한 제어력을 잃지 않고 AI 기반 이미지 및 비디오 제작에 뛰어들고 싶다면, 당신은 올바른 곳에 왔습니다. ComfyUI는 레고 블록처럼 나만의 파이프라인을 구축할 수 있는 노드 기반 인터페이스입니다. 이 가이드에서는 ComfyUI에서 시각 효과(VFX) 워크플로를 설정하는 방법을 처음부터 자세히 알아봅니다.이미지와 비디오 모두에서 중요한 것을 놓치지 않고 촬영했습니다.
기본 사항 외에도 텍스트-이미지 흐름, 이미지-이미지 흐름, 인페인팅, 아웃페인팅, 스케일링, ControlNet, SDXL, LoRA 및 임베딩을 살펴보겠습니다. AnimateDiff, HunyuanVideo, LTX Video 및 Wan 2.1을 사용하여 비디오로 도약해 보겠습니다.여기에는 요구 사항, 설치, 주요 매개변수, 그리고 단축키와 노드 관리자를 활용한 생산성 향상 팁이 포함됩니다. 복잡한 설치를 피하고 싶다면 클라우드 옵션도 살펴보겠습니다.
ComfyUI란 무엇이고 VFX에 이상적인 이유는 무엇입니까?
ComfyUI는 Stable Diffusion을 위한 노드 기반 GUI로, 처음부터 끝까지 데이터 흐름을 보고 수정할 수 있습니다. 각 노드는 특정 작업(모델 로딩, 텍스트 인코딩, 샘플링, VAE 디코딩 등)을 수행하며 케이블로 연결됩니다. 입력과 출력을 나타내는 개념입니다. 이러한 철학은 VFX에 완벽하게 적용됩니다. 신호가 어디로 들어오고, 어디로 변환되며, 결과에 어떤 영향을 미칠지 정확히 알 수 있기 때문입니다.
모놀리식 인터페이스와 비교했을 때 ComfyUI는 투명성과 유연성 면에서 돋보입니다. 그 자유의 대가는 가파른 학습 곡선과 시각적인 방해 요소입니다. (각 워크플로는 다르게 구성될 수 있음) 하지만 그 보상은 빠르게 프로토타입을 제작하고, 정확하게 디버깅하고, 재현 가능한 방식으로 워크플로를 공유할 수 있다는 것입니다.
ComfyUI 대 AUTOMATIC1111
많은 사용자가 Stable Diffusion의 고전인 AUTOMATIC1111에서 왔습니다. ComfyUI는 가벼움, 투명성 및 프로토타입 기능 면에서 이점을 얻었습니다.A1111은 더 균일하고 직관적인 느낌이지만, 세부적인 디테일은 부족합니다. 내부 작동 방식을 이해하고 VFX를 최대한 활용하고 싶다면 ComfyUI가 안전한 선택입니다.
첫 번째 단계 및 기본 제어
캔버스와의 상호작용은 간단합니다. 휠이나 핀치 제스처로 확대/축소하고, 드래그하여 이동하고, 한 노드의 출력에서 다른 노드의 입력으로 드래그하여 연결을 만듭니다. Load Checkpoint, CLIP Text Encode, KSampler 또는 VAE와 같은 블록(노드)이 표시됩니다.및 데이터 경로를 나타내는 케이블.
텍스트에서 이미지로: 기준 흐름 및 필수 노드
표준 파이프라인에는 체크포인트 로딩, 프롬프트 인코딩, 레이턴시 샘플링, 픽셀 디코딩이 포함됩니다. 이는 ComfyUI의 거의 모든 것이 구축된 뼈대입니다..
부하 검사점을 사용한 모델 선택
로드 체크포인트 노드는 MODEL(노이즈 예측 네트워크), CLIP(텍스트 인코더), VAE(픽셀에서 잠재 데이터로, 그 반대로)의 세 가지 부분을 제공합니다. MODEL은 KSampler에 공급되고, CLIP은 텍스트 노드로 이동하며, VAE는 최종 결과를 디코딩하는 데 사용됩니다.체크포인트가 없으면 게임이 없으므로 작업 흐름에 맞는 체크포인트를 선택하세요.
CLIP 텍스트 인코딩을 사용한 긍정적 및 부정적 프롬프트
두 개의 CLIP 텍스트 인코딩 노드를 사용합니다. 위쪽은 양수용이고 아래쪽은 음수용입니다. 텍스트는 배포를 안내하는 고해상도 임베딩으로 변환됩니다.구문(term:1.2)을 사용하여 단어에 가중치를 부여하여 개념에 더 많은 가중치를 부여하거나 덜한 가중치를 부여할 수 있습니다.
KSampler 생성 및 매개변수
샘플링은 대기열에 넣으면 시작됩니다(대기열 프롬프트). KSampler는 시드, 단계, 샘플러, 스케줄러 및 노이즈 제거 강도를 제어합니다.고정된 시드는 재현성을 제공합니다. 단계가 많을수록 일반적으로 세부 정보가 향상됩니다(시간은 더 오래 걸립니다). text2img의 denoise=1은 전체 노이즈 제거 프로세스를 적용합니다.
빈 잠상: 해상도 및 배치
빈 잠재 이미지 노드는 초기 잠재 캔버스를 생성합니다. 높이와 너비는 8의 배수여야 합니다.일반적인 크기: SD 1.5의 경우 512/768, SDXL의 경우 1024입니다. 한 번에 여러 이미지를 인쇄하려면 배치 크기를 조정하세요.
VAE: 압축 및 재구성
VAE는 픽셀과 잠재 픽셀 사이를 인코딩하고 디코딩합니다. 이는 손실이나 인공물을 대가로 효율성과 조작 가능한 잠재 공간을 제공합니다.text2img에서는 주로 마지막(VAE 디코드)에서 이미지를 픽셀 단위로 가져오는 데 사용됩니다.
이미지 대 이미지, SDXL 및 인페인팅/아웃페인팅
이미지별로
이 워크플로는 프롬프트 이미지와 기본 이미지를 결합합니다. 체크포인트 선택, 이미지 로드, 프롬프트 검토 및 노이즈 제거 조정 KSampler에서 원본과 얼마나 차이가 나는지 결정합니다(노이즈 감소 = 원본에 더 가까워짐).
ComfyUI의 SDXL
ComfyUI는 모듈성 덕분에 SDXL을 조기에 효율적으로 지원합니다. 긍정적/부정적 프롬프트를 준비하고 적절한 샘플러로 프로세스를 시작하세요.; 잠재 해상도의 최적 해상도(보통 1024)를 기억합니다.
그림 그리기
특정 영역을 수정하려면 이미지를 로드하고 마스크 편집기를 열고 마스크를 노드에 저장합니다. 이 워크플로는 표준 모델을 사용합니다. "인페인팅" 체크포인트를 사용하는 경우 VAE 인코딩(인페인트)을 사용하세요. 표준 VAE 인코딩 및 노이즈 잠재 마스크 설정 노드 대신, 변경 사항을 설명하는 프롬프트와 0.6과 같은 일반적인 노이즈 제거 강도를 설정합니다.
아웃페인팅
Pad Image for Outpainting을 사용하여 이미지 한계를 넘어 확장하세요. 왼쪽/위/오른쪽/아래를 제어하고 페더링을 사용하여 부드러운 전환을 구현하세요. VAE Encode(Inpainting용)에서 grow_mask_by를 조정합니다(10보다 좋음). 더욱 자연스럽고 잘 통합된 충전물을 얻기 위해.
스케일링: 픽셀 대 잠재 스케일링
픽셀 업스케일
두 가지 방법: Upscale Image by를 이용한 알고리즘(바이큐빅, 바이리니어, 가장 가까운 정확한 알고리즘) 또는 Load Upscale Model + Upscale Image(모델 사용)를 이용한 모델. 알고리즘은 빠르지만 덜 정교합니다. 모델은 더 오래 걸리고 일반적으로 더 나은 세부 정보를 제공합니다.그리고 당신은 외출을 결합할 수 있습니다 After Effects용 50가지 효과 팩.
잠재성의 고급화
소위 Hi-Res Latent Fix는 잠재 공간에서 직접 확장되어 재구성 중에 세부 정보를 풍부하게 합니다. 원본과 약간 다를 수 있으며 속도가 느릴 수 있지만 정보를 추가합니다. 픽셀을 늘리는 것만이 아닙니다.
빠른 비교
픽셀 업스케일링: 빠르고, 새로운 정보 추가 없이, 스무딩 가능. 잠재 업스케일링: 더 느림 세부 사항을 추가하지만 기본 이미지를 변경할 수 있습니다.맥락과 필요한 충실도에 따라 선택하세요.
ControlNet: 구조의 정밀 제어
ControlNet은 모델이 구조를 준수하도록 테두리, 포즈, 깊이 또는 분할과 같은 지침을 제공합니다. 구성과 동작을 지속적으로 수정하기 때문에 VFX에 매우 강력한 도구입니다.Lineart, Depth 또는 OpenPose를 사용해보고 강도를 조절하여 충실도와 창의성의 균형을 맞추세요.
ComfyUI 관리자: 사용자 정의 노드를 최신 상태로 유지
누락된 노드 설치
워크플로에서 사용자에게 없는 노드를 요청하는 경우 관리자를 사용하세요. 관리자 버튼, "누락된 사용자 지정 노드 설치"를 선택하고 ComfyUI를 다시 시작한 다음 브라우저를 다시 로드하세요. 이렇게 하면 공유 흐름을 정확하게 복제할 수 있습니다..
노드 업데이트
관리자에서 업데이트를 확인하고 "사용자 지정 노드 설치"를 클릭하세요. 패키지 옆에 "업데이트"가 나타나면 적용하고 다시 시작한 후 새로 고침하세요. 노드를 최신 상태로 유지하면 오류가 방지되고 기능이 향상됩니다..
캔버스에서 노드 검색
빈 캔버스를 두 번 클릭하여 노드 찾기를 열고 이름으로 노드를 추가합니다. 이렇게 하면 복잡한 체인의 조립 속도가 빨라집니다. 메뉴를 탐색하지 않고도.
임베딩(텍스트 반전)
임베딩을 활성화하려면 긍정적 또는 부정적 프롬프트에서 embedding:Name을 입력합니다. ComfyUI/models/embeddings에 파일을 넣으세요. ComfyUI가 일치하는 항목을 찾으면 적용합니다. 특정 스타일이나 컨셉을 통합하는 강력한 방법입니다.
자동 완성 기능 내장
자동완성을 위해 ComfyUI-Custom-Scripts 패키지를 설치하세요. 활성화되면 "embedding:"을 입력하기 시작하면 사용 가능한 임베드가 표시됩니다.대규모 컬렉션으로 작업 가속화.
임베딩 가중치
단어와 마찬가지로 가중치를 적용할 수 있습니다. (embedding:Name:1.2)는 영향력을 증가시키고 (embedding:Name:0.8)은 영향력을 감소시킵니다. 무게를 조정하면 시각적 효과를 세밀하게 제어할 수 있습니다..
LoRA: VAE를 건드리지 않고 스타일을 조정합니다.
LoRA는 VAE는 그대로 두고, 기본 체크포인트의 MODEL과 CLIP을 수정하여 스타일, 문자 또는 객체를 도입합니다. 기본 흐름: 체크포인트 선택, 하나 이상의 LoRA 추가, 프롬프트 검토 및 대기열 시작.
여러 개의 계단식 LoRA
동일한 흐름에 여러 개의 LoRA를 적용할 수 있으며, 순차적으로 결합됩니다. 창의적으로 스타일을 혼합하기 위해 순서와 가중치를 실험해 보세요. 원하는 균형이 달성될 때까지.
시간을 절약해주는 단축키와 요령
복사/붙여넣기: 항목을 유지하면서 Ctrl+C, Ctrl+V 및 Ctrl+Shift+V를 사용하여 붙여넣습니다. Ctrl 키를 사용하여 여러 노드를 선택하고 선택 상자를 만든 다음 Shift 키를 사용하여 이동합니다. 빠른 레이아웃을 위해.
Ctrl+M으로 노드를 음소거하면 일시적으로 해당 노드가 생략됩니다. 왼쪽 상단 모서리에 있는 점을 눌러 노드를 최소화합니다. 대규모 프로젝트의 캔버스를 비우기 위해.
생성 대기열: Ctrl+Enter. ComfyUI는 입력이 변경되는 경우에만 노드를 다시 실행합니다.; 긴 체인을 다시 계산하지 않고 시간을 절약하기 위해 시드를 수정합니다.
PNG 내장 흐름: 생성된 이미지를 ComfyUI로 끌어서 메타데이터에서 워크플로를 검색합니다. 파이프라인을 공유하고 버전 관리하는 훌륭한 방법입니다. 조각을 잃지 않고. 영상으로 더 잘 배우려면 다음을 확인하세요. 10가지 획기적인 비디오 튜토리얼.
비디오용 ComfyUI: AnimateDiff 단계별 설명
AnimateDiff를 사용하면 텍스트, 이미지 또는 비디오에서 시퀀스를 생성할 수 있습니다. NVIDIA가 설치된 Windows의 경우 10GB의 VRAM이 최적입니다(낮은 해상도 또는 Txt2Vid의 경우 최소 8GB); 까다로운 프로젝트에서는 ControlNet 2개를 사용하면 약 10GB를 예상할 수 있습니다.
설치 및 종속성
노드를 복제하려면 Git을 설치하고, 휴대용 ComfyUI를 추출하려면 7-Zip을 설치합니다. FFmpeg는 선택 사항입니다(결합 노드에서 GIF/MP4를 패키징하는 경우)PATH에 없으면 스트림은 계속해서 느슨한 프레임을 생성합니다.
휴대용 ComfyUI를 다운로드하고 run_nvidia_gpu를 처음 실행하여 초기화합니다. 사용자 정의 노드 폴더에서 복제 ComfyUI-AnimateDiff-Evolved, ComfyUI-Manager, ComfyUI-Advanced-ControlNet 및 ComfyUI-VideoHelperSuite.
관리자에서 "ControlNet 보조 전처리기"와 "FizzNodes"를 설치합니다. 모든 것을 올바르게 로드하려면 ComfyUI를 다시 시작하세요. 가져오기 오류를 방지하세요.
필요한 모델
호환되는 SD 1.5 체크포인트를 적절한 폴더에 넣고, 필요한 경우 일반 VAE를 넣습니다. 모션 모듈 다운로드(예: AnimateDiff, TemporalDiff 또는 AD Stabilized Motion의 원본 모듈) 경로에 복사하세요. ControlNet의 경우 Lineart, Depth, OpenPose(pth/yaml)를 추가하세요.
주요 워크플로: Vid2Vid 및 Txt2Vid
Vid2Vid: 이미지/비디오 입력 노드로 프레임 디렉토리를 로드하고, 지속 시간과 샘플링을 위해 image_load_cap, skip_first_images 및 select_every_nth를 제어합니다. Uniform Context Options는 필수입니다. 컨텍스트 길이 ~16, 연속성을 위한 오버랩, Txt2Vid에 대한 폐쇄 루프만 가능합니다..
Txt2Vid: 기본 프레임 노드(이미지 로더 없음)를 사용하고 프롬프트에서 직접 생성합니다. KSampler에서 Denoise=1을 사용하면 완전한 생성 효과가 나타납니다., 상상력이 풍부한 클립에 이상적입니다.
일괄 프롬프트 스케줄링
FizzNodes의 BatchPromptSchedule을 사용하면 프레임별로 프롬프트를 다르게 지정할 수 있습니다. 일반적인 헤더와 클로저에는 pre_text와 app_text를 사용하고 "frame: prompt" 쌍을 정의합니다. 마지막 요소의 마지막 쉼표에 주의하세요. 오류가 발생합니다.; 간격 사이에 보관하려는 경우 명령을 복제합니다.
샘플링 및 설정 결합
비디오용 KSampler에는 더 많은 단계가 필요합니다(최소 25단계, 늘리는 것이 더 좋습니다). Euler_a 샘플러를 사용해보고 CFG를 원하는 대로 조정해보세요.Vid2Vid에서 노이즈 제거를 낮춰 원본 클립에 더 가깝게 만듭니다. Combine 노드는 GIF/MP4를 내보냅니다. frame_rate, loop_count, format, 그리고 ping-pong 효과를 적용할지 여부를 정의합니다.
실용적인 팁: 정지 이미지의 경우 ControlNet의 강도를 낮추고, OpenPose를 시도하고, "고용" 수정을 위해 두 번째 KSampler를 사용하세요. 특정 동작을 강화하려면 Motion LoRA를 사용해보세요 ControlNets를 아껴서 결합합니다.
ComfyUI의 다른 비디오 엔진
HunyuanVideo (자막으로 안내되는 img2vid)
512x512 크기의 이미지를 준비하고 Florence2Run으로 자막을 생성하세요. StringReplace를 사용하여 "이미지/사진/일러스트레이션"과 같은 용어를 "비디오"로 바꾸세요. 모델 학습에 맞춰 조정합니다. HunyuanVideo Sampler + 래퍼를 사용하여 잠재 공간으로 변환하고, Lora Select를 적용한 후 컴바이너를 사용하여 내보냅니다.
LTX 비디오(LTX 노드 파이프라인)
ComfyUI-LTXVideo 노드와 모델을 설치합니다(PixArt-XL 인코더 포함). CLIP에 프롬프트를 작성하고 EmptyLTXVLatentVideo로 비디오 레이턴트를 생성하고 LTXVScheduler를 조정합니다.단계 수가 증가할수록 품질이 높아지고, max_shift, base_shift, stretch, terminal과 같은 매개변수가 클립의 다이내믹스를 결정합니다. SaveAnimatedWEBP(lossless true, quality 100)로 저장하거나 다른 형식으로 내보낼 수 있습니다.
Wan 2.1(텍스트를 비디오로, 이미지를 비디오로, 비디오를 비디오로)
ComfyUI는 Wan 2.1의 흐름도 통합합니다. 여기에는 Txt2Vid, Img2Vid 및 Vid2Vid가 포함됩니다.이전 파이프라인과 유사한 매개변수 제어와 사용 사례에 따라 시간적 일관성에 대한 이점이 있습니다.
모션 그래픽: 분할, 깊이 및 블렌딩
비디오에서 모션 그래픽 애니메이션을 만들려면 LoadVideoInput으로 시작하고, 첫 번째 프레임 건너뛰기 및 N번째 프레임마다 선택을 제어하고, ImageScaleToMegapixels로 최대 1MP까지 크기를 조정합니다. 이 전처리는 VRAM 부하와 작동 속도를 조정합니다. 세대에서. 또한 어떻게 확인할 수 있습니다 Premiere에서 타이틀 만들기 그래픽과 크레딧을 통합합니다.
GroundingDINO와 GroundingDinoSAMSegment를 사용하여 텍스트에서 주제를 세분화합니다. GrowMaskWithBlur로 마스크를 확대하고 MaskToImage로 이미지로 변환합니다. 더욱 견고한 개요를 위해.
TimeFeatureNode를 사용하여 시간 신호를 생성하고 FeatureScaler(선형, 로그, 지수)를 사용하여 변조합니다. 이를 통해 클립을 따라 깊이(Z) 변위 또는 마스크 위치를 제어할 수 있습니다. 더욱 영화적인 효과를 위해.
FlexMaskDepthChamber를 사용하여 주제 마스크, 시간 신호, 클립의 깊이 맵을 결합하여 깊이에 따른 다시 칠하기 마스크를 생성합니다. Z 전면/Z 후면을 조정하여 언제든지 활성 영역을 정의합니다. 그리고 설득력 있는 3D 효과를 얻을 수 있습니다.
생성 단계에서는 체크포인트를 로드하고, LoRA를 적용하고, 프롬프트를 구성하고, 필요한 경우 ControlNet을 추가합니다. AnimateDiff는 프레임을 제공한 다음 RIFE VFI로 보간하여 부드러움을 두 배로 높입니다. 그리고 매끄러운 전환.
패스를 혼합하려면 다양한 표시로 여러 버전을 생성하고, ImageIntervalSelectPercentage로 세그먼트를 선택하고, ImageBlend로 전환을 혼합하고, ImageBatchMulti로 연결합니다. RIFE VFI를 통한 최종 패스를 통해 애니메이션이 매우 매끄럽게 표현됩니다. 수출 준비가 되었습니다.
ComfyUI 온라인 및 클라우드 대안
아무것도 설치하고 싶지 않다면 ComfyUI가 미리 구성되어 있고 수백 개의 노드/모델과 수십 개의 기성 워크플로가 있는 클라우드 서비스가 있습니다. 빠른 테스트나 템플릿을 공유하는 팀에 유용합니다. 지역 기관을 거치지 않고도 가능합니다. 빠르고 쉬운 대안으로 다음 리소스도 있습니다. CapCut의 애니메이션 및 시각 효과.
또 다른 옵션은 Dreamina와 같은 클라우드 기반 비디오 생성기를 사용하는 것입니다. 간단한 인터페이스, 로컬 VRAM 없음, 20~60초 만에 결과가 나옵니다. HD 업스케일, 프레임 보간, 사운드트랙 생성 등의 추가 기능을 제공합니다.매일 무료 크레딧을 제공하여 시작할 수 있으므로, 세부적인 제어보다 속도가 더 중요할 때 사용하기 편리한 대안입니다.
성능, 요구 사항 및 시간
로컬에서 이미지를 비디오로 변환하는 ComfyUI에는 일반적으로 모델(AnimateDiff, HunyuanVideo, LTX Video)과 해상도에 따라 8~24GB의 VRAM이 필요합니다. 강력한 GPU에서도 생성에는 10~30분이 걸릴 수 있습니다. 클립이 길거나 여러 개의 ControlNet과 고역 통과 필터를 사용하는 경우 부하가 클라우드의 공급자에게 전가됩니다.
ComfyUI의 소프트웨어는 무료지만, 장시간 작업할 경우 하드웨어와 전기 요금이 추가됩니다. 클라우드는 서비스와 수수료 또는 크레딧에 따라 비용을 지불하는 대신 이러한 비용을 피합니다.작업 흐름에 가장 큰 이점이 무엇인지 평가해 보세요.
일반적인 문제 해결
null 오류나 "존재하지 않는" 노드가 표시되면 폴더에 모델이 없거나 종속성이 설치 해제된 것일 수 있습니다. 각 노드에 연관된 모델이 있는지 확인하고 Manager를 사용하여 누락된 패키지를 설치합니다.다른 작업에 ComfyUI를 이미 사용하고 있다면 저장소 충돌을 피하세요.
일관된 VFX를 위한 모범 사례
사슬의 섹션을 조정하는 동안 재현성을 위해 씨앗을 잠그세요. 워크플로 메타데이터로 이미지를 저장하고 노드 및 모델 버전에 주석을 추가합니다.비디오에서는 컨텍스트 길이와 중복을 신중하게 정의하고 ControlNet과 LoRA의 순서를 명확하게 유지하세요.
샷 유형과 세부 수준에 따라 고급 픽셀과 잠재 픽셀을 전략적으로 전환합니다. Vid2Vid에서는 기본 이동을 존중하기 위해 노이즈 제거를 줄입니다.Txt2Vid에서는 단계와 샘플러를 푸시하여 시각적 안정성을 얻습니다.
Manager에서 ControlNet 전처리기(canny, depth, openpose 등)를 통합하여 툴박스를 확장하세요. 그리고 기억하세요: ControlNet 강도가 약할수록 비디오에서 더 나은 성능을 보이는 경우가 많습니다.필터링된 모습을 피하고 자연스러운 모습을 유지합니다.
사례에 자막 가이드, 다양한 시간 역학 제어 또는 대체 파이프라인이 필요한 경우 HunyuanVideo와 LTX Video를 살펴보세요. Wan 2.1은 또한 Txt2Vid, Img2Vid 및 Vid2Vid에 대한 견고한 옵션을 추가합니다. 일관된 매개변수와 경쟁력 있는 결과를 제공합니다.
빠른 속도와 마찰 없는 서비스를 원하는 사람들은 온라인 서비스를 이용할 수 있고, 수술적 제어와 완벽한 재현성을 원하는 사람들은 로컬 ComfyUI를 사용하면 효과적입니다. 지금까지 살펴본 노드, 매개변수, 단축키, 흐름 등의 요소를 활용하면 이제 최고 수준의 VFX를 제작할 수 있는 로드맵을 갖추게 되었습니다. 정지 이미지와 비디오 시퀀스 모두에서 유연하고 확장 가능한 방식으로 제공됩니다.
