Referenz zu Video-KI: So verwenden Sie Bilder und Videos zusammen

Stellen Sie sich vor, Sie haben ein wunderschönes Produktbild erstellt und einen Werbespot gefunden, der genau die Kamerabewegung enthält, die Sie sich wünschen.

Ihr Ziel ist einfach: Behalten Sie das Produkt aus Ihrem Bild bei, aber übernehmen Sie die Kamerabewegung aus dem Video.

Klingt einfach, oder?

Nicht immer.

Wenn Sie einem KI-Videogenerator einfach anweisen, „dieses Produkt soll sich wie im Referenzvideo bewegen“, kann es passieren, dass das Aussehen des Produkts verändert wird, der Hintergrund angepasst wird oder sogar Objekte aus dem Originalclip eingefügt werden.

Das Problem liegt nicht unbedingt in Ihren Referenzmaterialien. Es besteht vielmehr darin, dass dem Modell nicht klar vermittelt wurde, welcher Aspekt durch welche Referenz gesteuert werden soll.

Mit Movmix Reference to Video können Creator unterstützte Kombinationen aus Bildern, Videoclips und anderen Referenzmaterialien nutzen, um präzisere kreative Vorgaben zu machen.

In diesem Leitfaden untersuchen wir drei praktische Workflows, die über den einfachen Austausch von Charakteren hinausgehen:

• Erstellung eines Premium-Parfüm-Werbespots unter Verwendung einer Kamerabewegungs-Referenz.
• Produktion eines Fashion-Porträts mit einer Referenz für bewegtes Licht.
• Kombination mehrerer Referenzen zur Erstellung einer Vintage-Theater-Eröffnung.

Jedes Beispiel zeigt eine andere Methode, wie man Reference-to-Video-KI einsetzt, ohne dass die Referenzmaterialien miteinander konkurrieren.

1. Was ist Reference-to-Video-KI?

Reference-to-Video-KI ist ein Workflow zur Videogenerierung, der bestehende visuelle oder auditive Materialien nutzt, um die Erstellung eines neuen Videos zu steuern.

Im Gegensatz zu einem einfachen Image-to-Video-Workflow sind Sie nicht darauf beschränkt, nur ein statisches Bild bereitzustellen und den Rest per Textbeschreibung zu definieren.

Je nach ausgewähltem Modell können Sie mehrere Referenztypen kombinieren und jedem eine spezifische Funktion zuweisen.

Hier ist die wichtigste Regel:

Verlangen Sie nicht von jeder Referenz, dass sie jeden Teil des finalen Videos steuert.

Nehmen wir an, Sie laden ein Bild einer Parfümflasche und ein Video hoch, das zeigt, wie die Kamera um eine Keramikvase herumfährt.

Vielleicht möchten Sie nur die Kamerabewegung aus diesem Video übernehmen – nicht die Vase, ihr Material oder ihren Hintergrund.

Ihr Prompt sollte daher den Unterschied klar herausstellen:

Das Bild steuert das Erscheinungsbild des Produkts. Das Video dient als Referenz für die Kamerabewegung.

Klare Zuweisungen der Referenzen können Konflikte reduzieren und den Generierungsprozess leichter handhabbar machen, wobei der Grad der Kontrolle vom ausgewählten Modell abhängt.

2. So bereiten Sie bessere Referenzmaterialien vor

Bevor wir zu den Beispielen kommen, sollten Sie sich Folgendes merken:

Mehr Referenzen bedeuten nicht automatisch bessere Ergebnisse.

Stellen Sie sich vor, Sie laden mehrere Produktfotos mit widersprüchlichen Kompositionen hoch, gefolgt von drei Videos mit völlig unterschiedlichen Kamerabewegungen.

Sie geben dem Modell zwar viele Informationen, aber kaum Hinweise darauf, welche Informationen am wichtigsten sind.

Ein besserer Ansatz ist es, mit wenigen Referenzen zu beginnen und jeder eine spezifische Rolle zuzuweisen.

Stellen Sie sich drei Fragen.

1. Was soll im endgültigen Video erscheinen?

Wählen Sie ein klares Bild Ihres Hauptmotivs. Idealerweise zeigt es die vollständige Struktur ohne unnötige Verdeckungen.

2. Was genau möchten Sie vom Referenzvideo übernehmen?

Ist es die Bewegung einer Figur, ein Heranzoomen der Kamera, ein Lichtübergang oder das Timing einer bestimmten Aktion?

Anstatt nur „Folge diesem Video“ zu schreiben, identifizieren Sie das spezifische Element, auf das Sie sich beziehen möchten.

3. Was muss unverändert bleiben?

Listen Sie die wichtigen Details auf, wie z. B. Produktform, Kleidung, Szenenaufbau, Materialien oder Schlüsselobjekte.

Sobald diese Entscheidungen klar sind, wird das Schreiben des finalen Video-Prompts viel einfacher.

Schauen wir uns drei verschiedene kreative Anwendungen an.

3. Beispiel 1: Erstellen Sie eine Premium-Parfümwerbung mit Kamerabewegungs-Referenzen

Technik: Lassen Sie das Bild das Aussehen des Produkts steuern und das Video die Kamerabewegung.

Unser erstes Beispiel ist eine Luxus-Parfümwerbung.

Die Schlüsselszene zeigt eine bernsteinfarbene Parfümflasche, die auf einem natürlichen Steinsockel ruht. Die Kamera bewegt sich langsam von links nach rechts und enthüllt subtile Veränderungen in den Reflexionen auf der Glasoberfläche und der metallischen Kappe.

Wir brauchen keine rotierende Flasche. Wir benötigen auch keine aufwendigen Flüssigkeitseffekte.

Wir benötigen nur zwei Referenzmaterialien:

• Referenzbild A: Definiert die Parfümflasche.
• Referenzvideo B: Bietet eine sanfte horizontale Kamerabewegung für die Werbung.

Erstellen Sie zuerst das Produktbild.

Prompt für Referenzbild

Ausgabe

16:9 horizontales Premium-Produktfoto. Eine elegante, transparente bernsteinfarbene Glasparfümflasche steht im Zentrum eines hellen, natürlichen Steinsockels. Die Flasche hat ein minimalistisches rechteckiges Design mit sanft abgerundeten Kanten, einer edlen metallischen Kappe und warmem, bernsteinfarbenem Liquid im Inneren. Sauberer, moderner Hintergrund eines Commercial-Fotostudios. Weiches, goldenes Seitenlicht hebt das transparente Glas, die Silhouette des Produkts und die metallischen Reflexionen hervor. Halten Sie die gesamte Flasche klar sichtbar mit großzügigem Kompositionsraum darum herum. Realistische Luxus-Produktfotografie, kein Text, kein Logo, kein Wasserzeichen.

Jetzt erstellen

Prompt für das finale Video

Laden Sie das Parfümbild und das Referenzvideo für die Kamerabewegung hoch und definieren Sie deren Rollen klar.

Funktion: Kombiniert ein statisches Produktbild mit Kamerabewegungen aus einem separaten Referenzvideo, um eine polierte, werbefilmähnliche Aufnahme zu erzeugen.

Ideal für: Produktwerbung, Markenkampagnen, E-Commerce-Videos.

Achtung: Vermeiden Sie Anweisungen wie „Kopiere alles aus dem Referenzvideo“. Andernfalls könnte das Modell die originale Vase oder den Hintergrund in Ihre Parfümwerbung übernehmen.

Wichtigste Erkenntnis: Das Motiv in Ihrem Referenzvideo muss nicht immer mit Ihrem finalen Motiv übereinstimmen. Entscheidend ist, dass Sie klar definieren, welchen Teil des Videos Sie nutzen möchten.

4. Beispiel 2: Erstellen Sie ein Modeporträt mit einer Referenz für bewegtes Licht

Technik: Ein Referenzvideo kann nicht nur Charakterbewegungen, sondern auch Umweltveränderungen steuern.

Für unser zweites Beispiel wechseln wir zur Modefotografie.

Wir möchten, dass ein Model relativ ruhig bleibt, während sanftes Sonnenlicht allmählich über ihr Gesicht und ihre Kleidung wandert.

Der Effekt erzeugt eine raffinierte Editorial-Atmosphäre, ohne aufwendige Körperbewegungen zu erfordern.

Dies ist eine andere Art, über Referenzen nachzudenken:

Das Bild legt das Model und die Umgebung fest. Das Video dient als Referenz für sich veränderndes Licht.

Prompt für das Referenzbild

Ausgabe

16:9 horizontales Premium-Mode-Editorial-Foto. Eine schöne blonde Frau steht in einer hellen, modernen Kunstgalerie und trägt einen minimalistischen cremeweißen langen Mantel. Sie hat elegante Gesichtszüge, natürlich fallendes Haar und einen entspannten, selbstbewussten Ausdruck. Ihr Körper ist leicht zur Kamera gedreht. Die Galerie verfügt über große Oberlichter, klare architektonische Linien und helle Steinwände. Rahmen Sie das Model deutlich von Kopf bis Knie ein. Weiches, gleichmäßiges Tageslicht, raffinierte Editorial-Komposition, realistische Modefotografie, kein Text, kein Logo, kein Wasserzeichen.

Jetzt erstellen

So bereiten Sie das Licht-Referenzvideo vor

Dafür benötigen wir kein weiteres Modevideo.

Bereiten Sie stattdessen einen einfachen Architektur-Clip vor, der zeigt, wie Sonnenlicht allmählich über eine Wand wandert.

Prompt für das erste Bild des Referenzvideos:

Prompt zur Generierung des Referenzvideos:

Finaler Video-Prompt

Funktion: Kombiniert ein statisches Fashion-Porträt mit einer separaten Lichtreferenz, um ein subtiles, atmosphärisches Video zu erstellen.

Ideal für: Fashion-Editorials, Markenvisuals, Porträtfotografie, Social-Media-Inhalte.

Achtung: Verlangen Sie nicht gleichzeitig dramatische Charakterbewegungen, schnelle Kamerabewegungen und intensive Lichtwechsel.

Der visuelle Fokus dieses Beispiels liegt auf dem Licht. Alles andere sollte relativ stabil bleiben.

Außerdem bieten Referenzvideos nicht in jedem Modell eine equally präzise Lichtsteuerung. Betrachten Sie dies als einen geführten kreativen Workflow und nicht als garantierte Übertragung exakter Lichtmuster.

Kernaussage: Ein Referenzvideo muss nicht die gesamte Szene beschreiben. Es kann die Richtung für ein spezifisches visuelles Element vorgeben.

5. Beispiel 3: Kombinieren Sie mehrere Referenzen für eine Vintage-Theater-Eröffnung

Technik: Weisen Sie mehreren Referenzmaterialien klare Aufgaben zu.

Unser drittes Beispiel ist eine filmische Eröffnungssequenz in einem Vintage-Theater.

Die Szene beginnt mit schweren, roten Samtvorhängen, die vollständig geschlossen sind.

Die Vorhänge teilen sich dann langsam und geben eine leere Bühne frei, die von warmem, goldenem Licht beleuchtet wird.

Wenn Ihr ausgewähltes Modell Audioreferenzen unterstützt, könnten Sie auch einen kurzen orchestralen Crescendo hinzufügen, der zur Eröffnungsbewegung passt.

Dieses Beispiel verwendet mehr Referenzmaterialien, aber jedes hat eine klar definierte Rolle.

Prompt für Referenzbild	Ausgabe
Referenzbild A: 16:9 horizontales, großes Vintage-Theaterinterieur. Schwere, tiefrote Samtvorhänge hängen vollständig geschlossen über die Mitte der Bühne. Elegante, goldene geschnitzte Säulen zieren beide Seiten, mit intricate goldenen architektonischen Details über der Bühne. Warmes, weiches Theaterlicht. Die Kamera blickt direkt auf die Bühne in einer symmetrischen Weitwinkelkomposition, wobei die vollständigen Vorhänge und Bühnenränder klar sichtbar sind. Realistische kinematografische Fotografie, reiche Stofftextur und architektonische Details, keine Personen, kein Text, kein Logo, kein Wasserzeichen.
Referenzbild B: 16:9 horizontale Komposition, die dieselbe Vintage-Theaterarchitektur, Bühnenproportionen und Kamerawinkel wie Referenzbild A zeigt. Die tiefroten Samtvorhänge sind vollständig zu beiden Seiten gezogen und geben eine leere zentrale Bühne mit eleganten dunklen Holzdetails und warmem goldenen Bühnenlicht frei. Bewahren Sie die verzierten goldenen Säulen auf beiden Seiten und die dekorative Architektur über der Bühne. Keine Personen oder großen Requisiten auf der Bühne. Feste Frontalkamera, symmetrische Weitwinkelkomposition, realistische kinematografische Fotografie, kein Text, kein Logo, kein Wasserzeichen.

Wenn die beiden Bilder deutlich unterschiedliche Bühnenlayouts aufweisen, können Sie das zweite Bild mit Movmix AI Image to Image verfeinern, sodass beide Referenzen ein konsistenteres architektonisches Design und einen einheitlichen Betrachtungswinkel teilen.

Finale Video-Prompt

Funktion: Kombiniert Szenenbilder, Bewegungsreferenzen und optionales Audio, um die visuelle Struktur und das Timing eines einzelnen Videos zu steuern.

Ideal für: Filmtrailer, Markenauftritte, Theaterwerbung, Event-Videos.

Watch out: Audio references aren't supported by every video model. Always check the available input types and reference limits before uploading your materials.

If your model only supports images and video, generate the visual sequence first and add music during editing.

Wichtigste Erkenntnis: Das Ziel der Erstellung mit mehreren Referenzen ist es nicht, so viele Materialien wie möglich hochzuladen, sondern jeder Referenz eine spezifische Aufgabe zuzuweisen.

6. So verwenden Sie „Reference to Video“ in Movmix

Obwohl unsere drei Beispiele unterschiedliche Themen abdecken, folgen ihre Workflows derselben grundlegenden Struktur.

Schritt 1: Wählen Sie ein geeignetes Modell

Öffnen Sie Movmix Reference to Video und überprüfen Sie die aktuell verfügbaren Modelle sowie die Optionen für Referenzeingaben.

Verschiedene Modelle unterstützen unterschiedliche Kombinationen aus Referenzbildern, Videos und Audio.

Stellen Sie sich vor der Wahl eines Modells eine einfache Frage:

Kann dieses Modell die für mein spezifisches Projekt erforderlichen Referenzmaterialien verarbeiten?

Ein Workflow, der zwei Bilder und ein Video verwendet, benötigt beispielsweise ein Modell, das diese Eingaben unterstützt. Gehen Sie nicht davon aus, dass jedes Modell dieselben Funktionen bietet.

Schritt 2: Referenzen vorbereiten und hochladen

Organisieren Sie Ihre Materialien, bevor Sie sie hochladen.

Beispiel für das Parfüm:

• Referenz A: Produktbild des Parfüms.
• Referenz B: Video mit horizontaler Kamerabewegung.

Für das Theater-Beispiel benötigen Sie zwei Szenenbilder und eine Referenz für die Vorhangbewegung. Audio kann hinzugefügt werden, wenn das ausgewählte Modell dies unterstützt.

Schritt 3: Rollen in Ihrem Video-Prompt zuweisen

Dies ist besonders wichtig, wenn Sie mit mehreren Referenzen arbeiten.

Vermeiden Sie vage Anweisungen wie:

„Verwenden Sie alle hochgeladenen Materialien, um einen hochwertigen Werbespot zu erstellen.“

Verwenden Sie stattdessen eine klarere Struktur:

Wiederverwendbare Prompt-Vorlage für Referenz-zu-Video:

Referenzbild A: Nutzen Sie dies, um das Erscheinungsbild, die Farben, Materialien und die Gesamtstruktur des finalen Subjekts zu definieren.


 Referenzvideo B: Nutzen Sie dies nur, um die spezifizierte Bewegung oder Kamerabewegung anzuleiten. Kopieren Sie keine unrelated Subjekte oder Hintergrundelemente.


 Finales Video: Beschreiben Sie die beabsichtigte Aktion, das Kameraverhalten und die visuelle Abfolge.


 Beibehalten: Geben Sie an, welche Details des Subjekts, Hintergrundelemente und wichtigen Objekte unverändert bleiben müssen.

Ersetzen Sie diese allgemeinen Beschreibungen durch projektspezifische Details.

Schritt 4: Ergebnis generieren und überprüfen

Nach der Generierung des Videos sollten Sie nicht nur die allgemeine visuelle Attraktivität bewerten.

Prüfen Sie, ob jede Referenz ihre beabsichtigte Rolle erfüllt hat.

Wenn etwas falsch aussieht, identifizieren Sie zunächst, welche Referenz das Problem verursacht haben könnte, bevor Sie den gesamten Prompt neu schreiben.

Das gleichzeitige Ändern aller Referenzen erschwert die Fehlerbehebung erheblich.

7. Häufige Probleme bei der Umwandlung von Referenzen in Videos und deren Lösung

Problem 1: Objekte aus dem Referenzvideo erscheinen im Endergebnis

Zum Beispiel enthält Ihre Parfümwerbung unerwartet die Keramikvase aus der Bewegungsreferenz.

Das Modell vermischt möglicherweise Informationen aus beiden Quellen.

Korrektur-Prompt:

Die finale Szene darf nur das Produkt aus Referenzbild A zeigen. Bewahren Sie sein ursprüngliches Erscheinungsbild. Nutzen Sie Referenzvideo B ausschließlich zur Steuerung der Kamerabewegung. Fügen Sie keine Objekte, Hintergründe oder anderen visuellen Elemente aus Video B hinzu.

Problem 2: Das Hauptmotiv verändert sein Aussehen

Vielleicht stimmen der Deckel der Parfümflasche oder die gesamten Proportionen nicht mehr mit dem Referenzbild überein.

Korrektur-Prompt:

Bewahren Sie strikt die ursprüngliche Struktur, Farbe, Materialien, Proportionen und Schlüsseldetails des Motivs aus Referenzbild A. Führen Sie nur die angeforderte Kamerabewegung und Umgebungsänderungen durch. Gestalten Sie das Motiv nicht neu.

Problem 3: Unterschiedliche Referenzen stehen im Konflikt miteinander

Zum Beispiel schlägt ein Bild eine statische Frontalansicht vor, während ein anderes Video eine schnelle rotierende Kamerabewegung zeigt.

Sie müssen Prioritäten setzen.

Entscheiden Sie, welche Referenz die finale Komposition bestimmt, und legen Sie fest, wie viel Bewegung aus dem Video übernommen werden soll.

Wenn das Modell weiterhin Schwierigkeiten hat, entfernen Sie unnötige Referenzen und vereinfachen Sie die Aufgabe.

Problem 4: Die finale Bewegung stimmt nicht mit dem Referenzvideo überein

Ein Referenzvideo liefert Bewegungsinformationen, garantiert jedoch keine framegenaue Reproduktion.

Wenn Sie eine bestimmte Bewegung benötigen, beginnen Sie mit einer langsameren, einfacheren Referenz.

Für die Parfumwerbung ist eine sanfte horizontale Kamerabewegung ein besser handhabbarer Ausgangspunkt als eine vollständige 360-Grad-Drehung.

Klarere Referenzen und weniger widersprüchliche Anweisungen erleichtern die Bewertung und Verfeinerung des generierten Ergebnisses.

8. Referenz-zu-Video vs. Bild-zu-Video: Was ist der Unterschied?

Beide Ansätze nutzen Referenzmaterialien zur Erstellung von Videos, unterscheiden sich jedoch in ihren Arbeitsabläufen.

Wenn Sie einfach nur ein Produktbild animieren möchten, reicht ein standardmäßiger Image-to-Video-Workflow möglicherweise bereits aus.

Wenn Sie jedoch einen bestehenden Werbespot mit Kamerabewegungen haben, den Sie als Inspiration für Ihr Produkt nutzen möchten, bietet Reference to Video einen weiteren kreativen Ansatz.

Häufig gestellte Fragen: Reference to Video AI

Muss ich immer sowohl ein Bild als auch ein Video hochladen?

Nicht unbedingt. Die Eingabeanforderungen hängen vom ausgewählten Modell und den unterstützten Referenztypen ab. Prüfen Sie die verfügbaren Optionen, bevor Sie Ihre Materialien vorbereiten.

Muss das Motiv in meinem Referenzvideo mit meinem Referenzbild übereinstimmen?

Nicht immer. Wenn Sie nur die Kamerabewegung oder einen bestimmten Umgebungseffekt übernehmen, kann das Referenzvideo ein anderes Motiv zeigen. Stellen Sie sicher, dass Ihr Prompt klar erklärt, was referenziert werden soll.

Verbessert das Hochladen weiterer Referenzbilder das Ergebnis?

Nicht automatisch. Referenzen mit widersprüchlichen Kompositionen, Erscheinungsbildern oder Bewegungsrichtungen können die Aufgabe erschweren. Beginnen Sie mit einer kleinen Anzahl relevanter Materialien und weisen Sie jedem eine klare Rolle zu.

Kann ich meine eigene Musik als Referenz verwenden?

Einige multimodale Videomodelle unterstützen Audio-Referenzen. Verfügbarkeit, unterstützte Formate und Dauerlimits hängen vom ausgewählten Modell ab.

Kann „Reference to Video“ ein bestehendes Video exakt reproduzieren?

Referenzmaterialien können die Generierung lenken, garantieren jedoch kein identisches Ergebnis Bild für Bild. Wenn Sie eine bestimmte Bewegung oder einen Kameraeffekt benötigen, beschreiben Sie genau, welche Elemente erhalten bleiben sollen, und verfeinern Sie das Ergebnis durch Tests.

Fazit: Bessere Referenzen bedeuten klarere kreative Richtung

Der Wert von Referenzmaterial für KI-Videos liegt nicht einfach in der Möglichkeit, mehr Dateien hochzuladen.

Es ist die Chance, Ihrem Videogenerierungsprozess eine klarere kreative Ausrichtung zu geben.

Unsere drei Beispiele zeigen, wie verschiedene Referenzen zusammenwirken können:

Im Parfum-Werbespot definiert das Bild das Produkt, während das Video die Kamerabewegung vorgibt.

Im Mode-Porträt legt das Bild das Model und die Umgebung fest, während das Video als Lichtreferenz dient.

Und bei der Eröffnung des Vintage-Theaters kombinieren wir Szenenbilder, Vorhangbewegungen und optionales Audio, um ein kohärenteres Ergebnis zu erzielen.

Das Prinzip hinter allen drei Workflows ist dasselbe:

Legen Sie fest, welche Aufgabe jede Referenz erfüllen soll, bevor Sie die KI bitten, sie zu kombinieren.

Wenn Sie nur ein einzelnes Bild animieren möchten, können Sie auch mit Movmix AI Image to Video starten.

Wenn Ihr kreatives Ziel eine präzisere Steuerung erfordert, fügen Sie schrittweise weitere Referenzen hinzu, anstatt die Aufgabe von Anfang an unnötig zu komplizieren.

Bessere Referenzen bedeuten nicht mehr Referenzen. Sie bedeuten eine klarere kreative Ausrichtung.