Wie ich einen Trend mit meinen KI-Influencern nachgemacht habe

Ein KI-Influencer entsteht nicht aus einem einzigen Prompt: Am Anfang steht das Casting. Für dieses Video habe ich drei Charaktere: einen Mann mit Zylinder und Steampunk-Brille, eine Frau mit Elfenohren und roten Zöpfen und einen Mann mit Pagenkopf und Schnurrbart. Jeder Charakter hat sein eigenes Blatt, und jedes Blatt zeigt NUR EINE Person.

Das Charakterblatt ist ein einziges Bild mit drei Ansichten derselben Person: das Gesicht in Nahaufnahme, die Ganzkörperfigur von vorn und die Ganzkörperfigur von hinten, mit flachem Licht und neutralem Hintergrund. Ich mache es mit dem Tool, mit dem ich am besten zurechtkomme: GPT Image, Seedream oder AI Influencer von Higgsfield, den du im oberen Teil des Screenshots siehst.

AI Influencer geht von einem Charaktertyp und seinen Merkmalen aus (Geschlecht, Statur, Alter, Haare, Augen, Schnurrbart ...) und liefert das Gesicht in Nahaufnahme und die Ganzkörperfigur von vorn. Die Ansicht von hinten ergänze ich mit einem Edit: Ich lade das Blatt als Referenz in GPT Image 2.5 hoch und bitte um denselben Charakter von hinten. Der Prompt steht im Prompt-Feld.

Am Ende entferne ich im Blatt den Kopf der Ganzkörperfigur von vorn und schneide sie unter dem Kinn ab.

Vor dem Video wähle ich, wo es spielt. Hier ist es eine Strandpromenade bei Sonnenuntergang mit einem Sushi-Restaurant und meinem Schild, erikataranto.com. Der Ort ist das vierte Referenzbild, nach den drei Charakteren.

Für Orte nutze ich GPT Image 2.5: Für das, was ich brauche, und nach meinen Maßstäben ist es sehr gut. Der Prompt war nur ein Test: ein kurzer, einfacher Satz auf Italienisch, um das Tool auszuprobieren. Das Bild ist trotzdem schön geworden, und genau das mag ich an diesem Modell: Andere brauchen nach meiner Erfahrung mehr Details. Also habe ich beschlossen, es zu behalten.

Im Prompt des Videos beschreibe ich den Ort nicht: Ich schreibe, dass Bild 4 der freigegebene Ort ist, und bitte darum, die ganze Straße als genau diesen Ort nachzubauen: das Restaurant anstelle des Geschäfts, der Sand, die Steinpromenade, die Palmen, die Laternen. Steht der Ort schon fest, muss das Modell nichts erfinden.

Ich nutze Genjutsu im Modus Motion Transfer: Das Referenzvideo liefert Bewegung, Kamera und Timing, die Blätter liefern Gesichter und Kleidung, das Bild des Ortes liefert den Ort. Der Prompt sagt, wer wen ersetzt, und beschreibt jede Person so, wie sie im Referenzvideo aussieht, denn das Modell muss sie wiederfinden.

Ich lade das Referenzvideo, die drei Charakterblätter und das Bild des Ortes hoch, das als Hintergrund dient, und schreibe den Prompt. Ich empfehle, direkt in 1080p zu generieren. Das ist der Prompt meines ersten Versuchs; die Beschreibungen der Personen und der Geschäfte stammen aus meiner Referenz, deine werden anders sein. Hier heißen die Referenzen Image 1, Image 2 und Video 1: In meinen neueren Prompts schreibe ich @image 1, @image 2 und @video 1 und schließe mit einer Liste, was jede Datei zeigt.

Wenn du danach 4K willst, gibt es den Video-Upscaler von Higgsfield: Das Video wird schärfer und sauberer, aber es ist nicht dasselbe, wie es direkt in 4K zu generieren, denn der Upscaler fügt Details hinzu, die vorher nicht da waren.

Der erste Versuch kam mit der Bäckerei und dem Brot heraus: Ich hatte nicht daran gedacht, ein Referenzbild für das Sushi zu machen. Das siehst du im nächsten Schritt.

Im ersten Versuch stimmten die Charaktere, aber statt des Sushis gab es Brot: Ich hatte nicht daran gedacht, ein Referenzbild für das Sushi zu machen, und das Modell hat das Brot aus dem Originalvideo behalten. In diesem Schritt siehst du den ersten Versuch und das fertige Video.

Um die Fehler zu finden und zu beschreiben, gibt es zwei Wege. Von Hand: Du siehst dir die Einzelbilder an und schreibst die Sekunde jedes Fehlers auf und was an seiner Stelle sein sollte. Mit einer sehr leistungsstarken, kostenpflichtigen KI: Du gibst ihr das Video und nennst ihr die Stelle, die dir nicht gefällt (zum Beispiel „bei 15 Sekunden beißt der Mann ins Brot statt ins riesige Sushi: schreib den Absatz des Prompts neu, der das korrigiert“), und sie schreibt den Absatz neu. Ist die KI nicht leistungsstark genug, lieber von Hand: Ein falscher Prompt führt nur dazu, dass du umsonst neu generierst.

Zur Korrektur habe ich zwei neue Bilder erstellt: ein riesiges Nigiri und den Charakter, der hineinbeißt. Ich habe sie zu den Referenzen hinzugefügt und dem Prompt einen Absatz hinzugefügt, der sagt, welches das einzig erlaubte Essen ist, und Brot und alles andere ausdrücklich verbietet.

Alles neu zu generieren hätte auch die schon guten Stellen wieder aufs Spiel gesetzt, also habe ich nur die falschen neu gemacht: drei Segmente des Referenzvideos, mit mehreren Varianten, insgesamt sieben. Ich habe die beste Variante jeder Stelle ausgewählt und an den Schnitten der Referenz wieder zusammengesetzt. Der Absatz im Prompt-Feld ist der, den ich dem Prompt von Schritt 4 hinzugefügt habe, um den Biss neu zu machen: Der Rest des Prompts ist derselbe.

Genjutsu behält den Ton des Referenzvideos, falls die Referenz einen hat. Prüfe vor dem Schnitt immer, ob der heruntergeladene Clip Ton hat.

Ich setze die Teile in der Reihenfolge der Referenz zusammen, entlang ihrer Schnitte, und beschleunige oder verlangsame jedes Stück, damit der Rhythmus wieder der des Trends ist: Das Modell verlängert die Clips auf ganze Sekunden.

Zur Musik: In den sozialen Netzwerken wählst du den Sound am besten beim Veröffentlichen aus der Bibliothek der Plattform. Auf einer Website oder anderswo brauchst du eigene Musik oder eine klare Lizenz: Die Musik des Trends gehört mir nicht, deshalb hat das Video auf dieser Seite keinen Ton.

Genjutsu überträgt nicht nur die Bewegung auf deine Charaktere. Es gibt auch Styles: Du wählst einen Look, zum Beispiel 2D-Cartoon, Anime, Stop-Motion-Filzpuppen oder „Knitted Yarn World“ (eine Welt aus gestrickter Wolle), und Genjutsu zeichnet jedes Einzelbild deines Videos in diesem Stil neu und behält Bewegung, Kamera und Einstellungen so, wie du sie gedreht hast.

Es akzeptiert Videos von 4 bis 30 Sekunden. Bei den Styles kannst du Referenzbilder hinzufügen (deine Charaktere, ein Produkt, die Kleidung) und einen kurzen, optionalen Prompt, der sagt, was erkennbar bleiben soll (Haare, Hut, Kleidung). Du wählst auch die Auflösung: Wie immer empfehle ich 1080p.

Als Beispiel habe ich die ersten 4 Sekunden meines Videos genommen, mit dem Steampunk-Mann, der geht, und sie durch den Stil Knitted Yarn World laufen lassen.

Genjutsu wendet den Stil auf das ganze Video an, vom ersten bis zum letzten Einzelbild. Den Übergang vom Normalen zur Wolle, den du im Video siehst, habe ich selbst im Schnitt gemacht, an zwei Videos, einem Original und einem aus Wolle.