SAM 3.1: ComfyUI에서 무엇이든 분할하기

ComfyUI에서 Meta의 SAM 3.1 모델을 사용해 텍스트 프롬프트를 이용해 이미지와 동영상 속 객체를 분할하는 방법을 알아보세요

로컬 사용자

ComfyUI가 최신 버전으로 업데이트되었는지 확인하세요.

• ComfyUI 다운로드
• 업데이트 가이드

이 가이드의 워크플로는 워크플로 템플릿에서 확인할 수 있습니다. 템플릿에서 찾을 수 없다면, 귀하의 ComfyUI가 오래된 버전일 수 있습니다.

워크플로를 로드할 때 노드가 누락되는 경우, 가능한 원인:

1. 최신 ComfyUI 버전(최신 테스트 버전(nightly))을 사용하고 있지 않음
2. 일부 노드가 시작 시 가져오기에 실패함

클라우드 사용자

• 클라우드는 ComfyUI 안정판 출시 후 업데이트됩니다.

따라서 이 문서에서 핵심 노드가 누락된 것을 발견했다면, 그 이유는 새로운 핵심 노드가 아직 최신 안정판에 공개되지 않았기 때문일 수 있습니다. 다음 안정판 출시를 기다려 주세요.

SAM 3 (Segment Anything Model 3)은 이미지와 비디오에서 프롬프트로 분할할 수 있는 메타의 통합 기반 모델입니다. 이 모델은 점, 박스, 마스크와 같은 텍스트 또는 시각적 프롬프트를 사용해 객체를 탐지하고, 분할하며, 추적할 수 있습니다. 전작인 SAM 2와 비교하면, SAM 3은 짧은 텍스트 문구로 지정된 오픈 보캐블러리 개념의 모든 인스턴스를 완벽하게 분할하는 기능을 도입했습니다.

SAM 3.1 Multiplex는 공유 메모리 방식을 도입한 최신 체크포인트 버전으로, 정확성을 저하시키지 않으면서도 훨씬 빨라진 다중 객체 추적 기능을 제공합니다.

SAM 3.1은 ComfyUI에서 기본적으로 지원되며(PR #13408), 모델 가중치는 SAM 라이선스 아래에서 이용 가능합니다.

SAM 3 GitHub | 논문(arXiv) | 🤗 모델 허브

SAM 3.1은 텍스트 프롬프트를 기반으로 비디오 프레임 전체에 걸쳐 객체를 분할하고 추적합니다. 위의 예시는 비디오 내 대상 객체에 마스크를 적용한 분할 결과를 보여줍니다.

​

주요 강점

• 텍스트 기반 분할 — 자연어로 분할할 내용을 설명하면 되며, 수동으로 점이나 박스를 표시할 필요가 없습니다.
• 이미지 및 비디오 지원 — 단일 이미지와 비디오 시퀀스 모두에서 작동하며, 프레임 간 추적 기능을 제공합니다.
• 다중 객체 지원 — 쉼표로 구분된 프롬프트를 사용해 여러 객체를 동시에 분할하고 추적합니다.
• 오픈 보캐블러리 — 이전 작업보다 훨씬 더 많은 오픈 보캐블러리 개념을 처리합니다.

제한사항: 모델의 텍스트 프롬프트 최대 토큰 수는 32개입니다. 최상의 결과를 얻으려면 프롬프트를 짧고 대상 객체에 맞게 구체적으로 작성하세요.

​

SAM 3.1 분할 워크플로

​

1. 워크플로 다운로드

ComfyUI를 최신 버전으로 업데이트한 후, 워크플로 → 템플릿 탐색으로 이동해 유틸리티 카테고리에서 SAM 3.1 워크플로를 찾으세요.

​

SAM3: 동영상 분할

SAM3 모델을 사용하여 동영상에서 주요 피사체 또는 콘텐츠를 분할하고, 특정 객체나 영역을 분리합니다.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON 다운로드 또는 템플릿 라이브러리에서 “SAM3: Video Segmentation” 검색

입력 자료

일치하는 LoadVideo 노드에 이 파일을 업로드하세요.

drinking_unicorn.mp4

LoadVideo 노드 115 · drinking_unicorn.mp4

출력 예시

​

SAM3: 이미지 분할

SAM3 모델을 사용하여 사진이나 이미지에서 주요 피사체 또는 콘텐츠를 분할하고, 특정 객체나 영역을 분리합니다.

Comfy Cloud에서 실행

Comfy Cloud에서 열기

워크플로 다운로드

JSON 다운로드 또는 템플릿 라이브러리에서 “SAM3: Image Segmentation” 검색

입력 자료

일치하는 LoadImage 노드에 이 파일을 업로드하세요.

neon_guitarist.png

LoadImage 노드 79 · neon_guitarist.png

​

2. 모델 다운로드

SAM 3.1 모델은 Comfy-Org SAM 3.1 모델 저장소에 호스팅되어 있습니다.

• sam3.1_multiplex_fp16.safetensors

다음 디렉터리 구조에 배치하세요.

📂 ComfyUI/
└── 📂 models/
    └── 📂 checkpoints/
        └── sam3.1_multiplex_fp16.safetensors

​

3. 워크플로 사용하기

이미지 분할:

• 이미지 — 이미지 불러오기 노드를 통해 이미지를 불러옵니다(ComfyUI의 input/ 폴더에 위치).
• 객체 프롬프트 — 분할할 객체에 대한 짧은 텍스트 설명, 예: person, car, cat
• 출력은 이미지에 적용된 마스크이며, RGBA 미리보기로 분할 결과를 확인할 수 있습니다.

동영상 분할:

• 동영상 — 비디오 불러오기 노드를 통해 동영상을 불러옵니다.
• 객체 프롬프트 — 이미지와 동일하게, 프레임 간 추적 및 분할할 내용을 설명하는 짧은 텍스트 프롬프트입니다.
• 출력은 각 프레임별 마스크와 경계 상자를 제공합니다.

프롬프트 형식:

프롬프트	역할
SAM3 객체 프롬프트	분할할 대상에 대한 짧은 설명. 최대 32토큰.

여러 대상을 각각 프롬프트하려면 쉼표로 구분하고, :N을 사용해 각 프롬프트당 감지할 최대 객체 수를 지정하세요. eye:2, window panels:4

서브그래프 알아보기

이 워크플로는 서브그래프 노드를 사용해 모듈식 처리를 수행합니다. 서브그래프 문서를 확인해 워크플로를 맞춤화하고 확장하는 방법을 알아보세요.

​

추가 참고사항

• 프롬프트는 짧고 구체적으로 유지하세요 — 모델의 프롬프트 한 개당 토큰 제한은 32개입니다.
• 다중 객체 탐지 — 쉼표로 서로 다른 객체 유형을 구분하고, :N을 사용해 각 유형별 탐지 수를 제한하세요.
• 분할 마스크 — 출력 마스크는 다른 워크플로우(예: 인페인팅, 배경 제거)의 입력으로 사용할 수 있습니다.
• 업데이트 필요 — SAM 3.1 지원을 받으려면 ComfyUI를 최신 버전으로 업데이트하세요.