AI로 비디오의 캐릭터를 변경하는 방법 (원본 모션 유지)

훌륭한 영상을 보고 이런 생각을 해본 적이 있나요?

다른 요소는 그대로 둔 채 주인공만 바꿀 수 있다면 어떨까?

동작, 카메라 워크, 구도가 뛰어난 농구 영상을 발견했다고 상상해 보세요. 연기는 마음에 들지만, 그 안에 자신의 캐릭터가 등장하기를 원합니다.

전통적으로 이는 장면 재촬영, 마스킹, 모션 매칭, 광범위한 편집 작업을 필요로 합니다.

캐릭터 체인저 AI를 사용하면 또 다른 접근법이 가능합니다. 기존 영상을 모션 레퍼런스로 활용하고, 새로운 캐릭터의 외형을 정의하는 별도의 이미지를 제공하는 방식입니다.

이 튜토리얼에서 바로 이 방법을 자세히 살펴볼 예정입니다.

영상 전체가 아닌 캐릭터만 변경하세요.

Movmix Reference to Video를 사용하여 캐릭터 이미지와 모션 레퍼런스를 결합한 후, 얼굴 변형, 부정확한 동작, 불안정한 배경과 같은 일반적인 문제를 줄이는 방법을 단계별로 설명합니다.

단순히 매력적인 새 영상을 생성하는 것이 목표가 아닙니다. 수행하는 인물을 변경하면서도 원래의 연기를 최대한 보존하는 데 중점을 둡니다.

1. 캐릭터 체인저 AI는 실제로 무엇을 변경하나요?

먼저 흔한 오해를 풀어보겠습니다.

캐릭터 변경은 얼굴 교체와 다릅니다.

얼굴 교체는 주로 얼굴 외형을 대체하는 데 중점을 둡니다. 반면 캐릭터 교체는 헤어스타일, 의상, 전반적인 외모 및 신원을 포함하여 더 광범위한 시각적 변화를 수반합니다.

AI 워크플로우	변경 대상
얼굴 교체	얼굴 외형
캐릭터 체인저	전반적인 캐릭터 외형 및 신원
비디오 스타일 전환	동영상의 시각적 스타일
동영상 참조	참고 자료를 사용하여 외관, 움직임 또는 구도를 안내합니다.

예를 들어, 이미 농구 동영상이 있다고 가정해 보겠습니다.

기존 선수를 다른 캐릭터로 교체하되, 농구 코트를 다시 디자인하거나 드리블 시퀀스를 완전히 변경하지는 않으려고 합니다.

이를 위해서는 두 가지 서로 다른 참고 자료가 필요합니다.

간단히 말하면:

이미지 A는 누가 연기할지를 결정하고, 동영상 B는 어떻게 움직일지를 결정합니다.

이 구분이 전체 워크플로우의 기초가 됩니다.

2. 전체 튜토리얼: 농구 선수를 새로운 캐릭터로 교체하기

서로 관련 없는 프롬프트 열 개를 보여주는 대신, 실제적인 비포/애프터 예제 하나를 완성해 보겠습니다.

명확한 움직임과 안정적인 실내 배경을 갖춘 농구 동영상을 사용하겠습니다.

우리의 목표는 간단합니다:

빨색 저지와 검은색 반바지를 입은 기존 선수를, 검은색 민소매 스포츠 상의와 흰색 반바지를 입은 이미지 A의 캐릭터로 교체합니다.

기존의 드리블 동작과 농구 코트는 최대한 일관되게 유지되어야 합니다.

1단계: 새로운 캐릭터 레퍼런스 준비

최종 영상에 등장시킬 캐릭터의 이미지로 시작하세요.

캐릭터를 완전히 교체하려면 얼굴, 헤어스타일, 의상, 전체적인 신체 비율이 명확하게 드러나는 이미지를 선택하세요.

적합한 이미지가 없다면 Movmix의 이미지 생성 도구를 사용하여 직접 준비할 수 있습니다.

캐릭터 레퍼런스 프롬프트	출력 결과
16:9 가로 구도, 짧은 짙은 갈색 곱슬머리와 뚜렷한 이목구비를 가진 유럽계 농구 선수. 검은색 민소매 스포츠 상의, 흰색 농구 반바지, 흰색 농구화를 착용하고 있습니다. 선수는 밝고 현대적인 실내 농구 코트 안에서 자연스러운 자세로 카메라를 정면으로 바라보고 있으며, 다리는 약간 벌리고 팔은 자연스럽게 relaxed 상태입니다. 전신이 선명하게 보이며 얼굴 디테일이 또렷합니다. 리얼리티 있는 상업 스포츠 사진 스타일의 미디엄 롱 샷으로 중앙 구도를 채택했으며, 두 발 모두 프레임 안에 완전히 포함되어야 합니다. 텍스트, 로고, 워터마크는 포함하지 않습니다.

기존 초상화 이미지를 작업 중이라면, 영상 생성 단계로 넘어가기 전에 Movmix Image to Image를 사용하여 의상이나 배경을 조정할 수도 있습니다.

중요한 세부 사항 하나: 레퍼런스 이미지에 복잡한 농구 동작이 담겨 있을 필요는 없습니다.

이 단계에서는 일관되고 명확한 캐릭터 외관을 확립하는 것이 더 중요합니다.

2단계: 원본 농구 영상 준비

다음으로 비디오 B를 준비하세요.

이는 새로운 캐릭터가 수행할 동작이 포함된 기존 농구 클립입니다.

더 정교한 결과를 위해 주요 플레이어가 한 명만 뚜렷하게 보이고, 구도가 비교적 안정적이며, 공의 움직임이 식별 가능하고 가려짐이 최소화된 푸티지를 선택하세요.

적합한 레퍼런스 영상이 없다면 먼저 간단한 드리블 클립을 생성해 볼 수 있습니다.

비디오 B는 모션 레퍼런스입니다. 이 영상의 역할은 동작, 타이밍, 구도 및 환경을 설정하는 것입니다.

3단계: Movmix에 두 개의 참조 자료 업로드

Movmix Reference to Video를 열고 필요한 이미지 및 비디오 참조 입력을 지원하는 사용 가능한 모델을 선택하세요.

다음과 같이 자료를 준비하세요:

입력	자료	목적
이미지 A	검은색 상의 + 흰색 반바지	새로운 캐릭터 정의
비디오 B	빨간색 저지 + 검은색 반바지	원본 동작 제공
비디오 프롬프트	교체 지침	변경 사항과 유지할 사항 설명

생성하기 전에 선택한 모델의 입력 요구 사항을 확인하세요.

이 시점에서 다음과 같이 작성하고 싶을 수 있습니다:

비디오 속 인물을 이미지 속 인물로 교체하세요.

이는 대략적인 아이디어는 전달하지만, 몇 가지 중요한 결정을 모델에 맡기게 됩니다.

원본 의상을 유지해야 할까요? 카메라 각도는 변경되어야 할까요? 환경은 동일하게 유지되어야 할까요?

캐릭터 교체 시에는 이러한 세부 사항이 중요합니다.

단계 4: 캐릭터 교체 프롬프트 작성

농구 코트가 얼마나 아름답게 보이는지 설명하기보다는, 참조 이미지에 명확한 역할을 부여하는 데 집중하세요.

캐릭터 교체 비디오 프롬프트:

이 프롬프트는 작업을 세 가지 구체적인 지침으로 분리합니다:

통제해야 할 요소	참조 출처
얼굴, 헤어스타일, 의상 및 캐릭터 신원	이미지 A
드리블, 발놀림 및 움직임 타이밍	비디오 B
카메라 앵글, 코트, 조명 및 배경	비디오 B

이는 모델에게 새 비디오가 원본과 정확히 같아지도록 반복적으로 요청하는 것보다 훨씬 더 정밀합니다.

단계 5: 결과 생성 및 검토

생성된 비디오를 검토할 때 새 캐릭터의 외형이 올바른지 여부에만 집중하지 마세요.

원본 움직임도 확인하세요.

플레이어가 손을 바꾸기 전에 여전히 두 번 드리블하나요? 측면 이동이 유지되나요? 농구가 자연스러운 궤적을 그리며 움직이나요? 배경이 예상치 못하게 변경되지는 않았나요?

성공적인 캐릭터 교체는 단순히 다른 외모의 인물을 만들어내는 것이 아니라, 원본 비디오의 의도를 보존해야 합니다.

3. AI 캐릭터 교체가 때때로 실패하는 이유는 무엇인가요?

첫 번째 생성 결과가 완벽하지 않을 수 있습니다.

새 캐릭터가 시작 부분에는 올바르게 나타나지만 점차 외형이 변할 수 있습니다. 의상은 정확하지만 드리블 동작이 원본과 일치하지 않을 수도 있습니다.

전체 프롬프트를 다시 작성하기보다는 먼저 구체적인 문제를 식별하세요.

문제 1: 새 캐릭터의 얼굴이 계속 변함

현상: 캐릭터는 처음에는 올바르게 보이지만, 움직임 동안 얼굴 특징이 점차 변합니다.

해결 방법: 캐릭터 참조가 명확한지 확인하고 불필요한 머리 회전을 줄이세요. 외형 일관성 요구사항을 강화하세요.

추가 프롬프트:

문제 2: 움직임이 원본 비디오와 일치하지 않음

발생 현상: 참조 영상에는 두 번의 드리블과 작은 옆으로의 이동이 포함되어 있지만, 생성된 결과에는 불필요한 회전이나 관련 없는 동작이 추가됩니다.

해결 방법: 비디오 B를 명시적인 모션 참조 자료로 설정하고 불필요한 창의적 지시사항을 제거하세요.

Additional Prompt：

문제 3: 농구 코트가 변경됨

발생 현상: 캐릭터는 성공적으로 교체되지만, 생성 과정에서 바닥, 배경 또는 코트 레이아웃이 변경됩니다.

해결 방법: 비디오 B의 원래 환경과 카메라 설정을 상속해야 한다는 요구사항을 강화하세요.

추가 프롬프트:

문제 4: 농구 상호작용이 부자연스러움

이 문제는 단순한 외관 이상의 문제입니다. 캐릭터의 손, 농구공, 전체적인 움직임이 자연스럽게 상호작용해야 합니다.

원본 모션이 특히 복잡한 경우, 먼저 짧고 명확한 참조 클립으로 테스트해 보세요.

급격한 가림 현상과 복잡한 상호작용을 줄이면 결과물을 더 쉽게 제어할 수 있습니다.

한 번에 하나의 문제만 해결하세요. 실제로 어떤 조치가 결과를 개선했는지 이해하기 훨씬 쉬워집니다.

4. 더 일관된 AI 캐릭터 교체 결과를 얻는 방법

몇 가지 실용적인 습관을 들이면 전체 워크플로우를 더 쉽게 관리할 수 있습니다.

워크플로우 단계	권장 접근 방식
캐릭터 참조	얼굴 디테일, 의상 및 전체 비례가 명확하게 보이는 이미지 사용
원본 비디오	주요 피사체를 식별하기 쉽게 유지
동작	명확하고 연속적인 동작으로 시작
프롬프트 구조	캐릭터 정체성과 모션 참조 분리
환경	변경되지 않아야 할 배경 요소를 명시적으로 정의
결과 검토	외형, 움직임 및 환경을 함께 확인

캐릭터 교체를 처음 테스트하는 경우, 복잡한 연기보다는 간단한 동작부터 시작하세요.

캐릭터와 동작이 reasonably 일관되어 보이면 춤, 더 정교한 스포츠 동작 또는 더 긴 비디오 시퀀스를 탐색할 수 있습니다.

상업적 프로젝트의 경우, 원본 이미지 및 푸티지 사용에 대한 적절한 권리 또는 권한이 있는지 확인하세요.

5. 캐릭터 체인저 AI로 무엇을 만들 수 있나요?

캐릭터 교체는 농구 동영상에만 국한되지 않습니다.

워크플로우를 이해하면 다른 유형의 콘텐츠에도 적용할 수 있습니다.

사용 사례	창의적 가능성
패션	기존 모델을 다른 캐릭터로 교체
AI 댄스	오리지널 캐릭터가 참조 안무를 따르도록 제작
브랜드 영상	일관된 브랜드 캐릭터를 사용하여 기존 퍼포먼스를 재현
소셜 미디어	익숙한 동작 클립을 다른 캐릭터로 재해석
AI 단편 영화	캐릭터 참조를 사용하여 장면 간 일관된 정체성 유지 지원

이러한 시나리오들은 하나의 중요한 개념을 공유합니다:

원본 영상에는 이미 가치 있는 움직임 정보가 포함되어 있습니다. 당신은 이를 수행하는 주체를 바꾸고자 합니다.

이것이 바로 캐릭터 교체가 단순히 단일 이미지에서 동영상을 생성하는 것과 차별화되는 점입니다.

자주 묻는 질문: 캐릭터 체인저 AI

캐릭터 체인저 AI는 AI 얼굴 교체와 동일한가요?

정확히 그렇지는 않습니다. 얼굴 교체는 주로 얼굴 외관에 초점을 맞추지만, 캐릭터 교체는 헤어스타일, 의상, 신체 비율 및 신원을 포함하여 전체적인 캐릭터 외관을 변경할 수 있습니다.

캐릭터를 교체할 때 원래의 움직임을 유지할 수 있나요?

호환되는 참조 비디오 워크플로우를 사용하여 생성된 움직임과 카메라 구도를 가이드할 수 있습니다.

다만, AI 생성 결과가 모든 원본 프레임과 완벽하게 일치한다고 보장할 수는 없습니다. 항상 동작 시퀀스, 움직임 타이밍, 사물과의 상호작용을 검토하세요.

전신 캐릭터 참조 이미지가 필요한가요?

항상 필요하지는 않지만, 전체 캐릭터를 교체할 때는 선명한 전신 이미지가 일반적으로 더 유용한 시각적 정보를 제공합니다.

얼굴 클로즈업만 업로드하면 모델이 누락된 의상 및 외관 세부 사항을 해석해야 할 수 있습니다.

왜 최종 비디오에 여전히 원래 캐릭터의 의상이 사용되나요?

의상도 변경하려면 모델에게 비디오 B의 원래 의상을 유지하는 대신 이미지 A의 의상을 사용하도록 명시적으로 지시하세요.

실사 캐릭터를 만화 캐릭터로 교체할 수 있나요?

이 접근 방식을 실험해 볼 수 있지만, 캐릭터 비율, 재질 및 움직임 스타일이 크게 다를 수 있어 추가적인 어려움이 발생합니다.

간단한 참조 모션으로 시작하면 프로세스를 평가하기가 더 쉬워집니다.

마무리: 모든 것을 다시 만들지 않고 캐릭터만 변경하기

과연 훌륭한 연기가 담긴 영상을 발견했을 때, 이를 재현하려면 움직임, 카메라 워크, 타이밍 등을 먼저 분석해야 했습니다.

캐릭터 체인저 AI를 사용하면 새로운 워크플로우를 탐색할 수 있습니다. 기존 모션 영상에 새로운 캐릭터 레퍼런스를 결합하는 방식입니다.

이 튜토리얼에서 가장 중요한 교훈은 농구 예시 그 자체가 아닙니다.

각 요소의 역할을 이해하는 것입니다:

이미지 A = 주체(누구)

영상 B = 방식(어떻게)

프롬프트 = 변경할 부분과 유지할 부분

이 세 가지 책임을 명확히 구분하면, 기존 퍼포먼스의 새로운 버전을 만드는 작업이 훨씬 수월해집니다.

다음에 오리지널 캐릭터로 재현하고 싶은 모션 클립을 발견한다면, Movmix Reference to Video를 사용해 보세요. 동일한 퍼포먼스에 새로운 캐릭터가 어떻게 다른 정체성을 부여하는지 확인할 수 있습니다.