Как я повторила тренд со своими AI-инфлюенсерами

AI-инфлюенсер рождается не из одного промпта: сначала делается кастинг. В этом видео у меня три персонажа: мужчина в цилиндре и стимпанк-очках, женщина с эльфийскими ушами и рыжими косами, мужчина с каре и усами. У каждого своя карточка, и на каждой карточке ОДИН человек.

Карточка персонажа представляет собой одно изображение с тремя видами одного и того же человека: лицо крупным планом, фигура в полный рост спереди и фигура в полный рост сзади, при ровном свете и на нейтральном фоне. Я делаю её тем инструментом, с которым мне удобнее всего: GPT Image, Seedream или AI Influencer от Higgsfield, который вы видите в верхней части изображения этого шага.

AI Influencer исходит из типа персонажа и его черт (пол, телосложение, возраст, волосы, глаза, усы...) и даёт лицо крупным планом и фигуру в полный рост спереди. Вид сзади я добавляю через редактирование: загружаю карточку как референс в GPT Image 2.5 и прошу того же персонажа со спины. Промпт лежит в блоке с промптом.

В конце на карточке я убираю голову у фигуры в полный рост спереди, обрезая её под подбородком.

Перед видео я выбираю, где всё происходит. Здесь это набережная на закате с суши-рестораном и моей вывеской erikataranto.com. Локация идёт четвёртым референс-изображением, после трёх персонажей.

Для локаций я использую GPT Image 2.5: для того, что мне нужно, и по моим меркам он очень хорош. Промпт был просто тестом: одна короткая простая фраза по-итальянски, чтобы попробовать инструмент. Изображение всё равно получилось красивым, и именно это мне нравится в этой модели: другим, по моему опыту, нужно больше деталей. Так что я решила оставить его.

В промпте видео я не описываю место: я пишу, что изображение 4 является утверждённой локацией, и прошу перестроить всю улицу как именно это место: ресторан на месте магазина, песок, каменная набережная, пальмы, фонари. Если локация уже решена, модели не нужно ничего придумывать.

Я использую Genjutsu в режиме Motion Transfer: референс-видео задаёт движение, камеру и тайминг, карточки задают лица и одежду, изображение локации задаёт место. Промпт говорит, кто кого заменяет, и описывает каждого человека так, как он выглядит в референс-видео, потому что модель должна его найти.

Я загружаю референс-видео, три карточки персонажей и изображение локации, которое служит фоном, и пишу промпт. Советую генерировать сразу в 1080p. Это промпт моей первой попытки; описания людей и магазинов взяты из моего референса, у вас они будут другими. Здесь референсы называются Image 1, Image 2 и Video 1: в более новых промптах я пишу @image 1, @image 2 и @video 1 и заканчиваю списком того, что показывает каждый файл.

Если потом захотите 4K, есть апскейлер видео в Higgsfield: видео становится чётче и чище, но это не то же самое, что сгенерировать его сразу в 4K, потому что апскейлер добавляет детали, которых не было.

Первая попытка получилась с пекарней и хлебом: я не подумала сделать референс-изображение для суши. Вы увидите это на следующем шаге.

В первой попытке персонажи получились правильными, но вместо суши был хлеб: я не подумала сделать референс-изображение для суши, и модель оставила хлеб из исходного видео. На этом шаге вы видите первую попытку и итоговое видео.

Найти и описать ошибки можно двумя способами. Вручную: вы смотрите кадры, записываете секунду каждой ошибки и то, что должно быть на её месте. С очень мощным платным AI: вы даёте ему видео и называете ту часть, которая вам не нравится (например, «на 15-й секунде мужчина кусает хлеб вместо гигантских суши: перепиши абзац промпта, который это исправит»), и он переписывает абзац. Если AI недостаточно мощный, лучше вручную: неверный промпт заставит вас генерировать заново впустую.

Чтобы исправить, я создала два новых изображения: гигантскую нигири и персонажа, который её кусает. Я добавила их к референсам, а в промпт добавила абзац, который говорит, какая еда единственно допустима, и прямо запрещает хлеб и всё остальное.

Если бы я генерировала всё заново, под вопросом оказались бы и уже удачные куски, поэтому я переделала только неудачные: три сегмента референс-видео, с несколькими вариантами, всего семь. Я выбрала лучший вариант каждого куска и собрала их заново по склейкам референса. Абзац в блоке с промптом тот самый, который я добавила к промпту шага 4, чтобы переделать укус: остальная часть промпта такая же.

Genjutsu сохраняет звук референс-видео, если он есть в референсе. Перед монтажом всегда проверяйте, есть ли звук в скачанном клипе.

Я собираю части в порядке референса, следуя его склейкам, и ускоряю или замедляю каждый кусок, чтобы ритм вернулся к ритму тренда: модель растягивает клипы до целых секунд.

О музыке: в соцсетях лучше выбирать звук в библиотеке платформы при публикации. На сайте или в других местах нужна ваша собственная музыка или музыка с чёткой лицензией: музыка тренда не моя, поэтому видео на этой странице без звука.

Genjutsu не только переносит движение на ваших персонажей. Есть ещё Styles (стили): вы выбираете внешний вид, например 2D-мультфильм, аниме, войлочных кукол в стоп-моушене или «Knitted Yarn World» (мир из вязаной шерсти), и Genjutsu перерисовывает каждый кадр вашего видео в этом стиле, сохраняя движение, камеру и кадры такими, как вы их снимали.

Принимаются видео от 4 до 30 секунд. В Styles можно добавить референс-изображения (ваших персонажей, продукт, одежду) и короткий необязательный промпт, чтобы сказать, что должно остаться узнаваемым (волосы, шляпа, одежда). Разрешение тоже выбираете вы: как всегда, советую 1080p.

В качестве примера я взяла первые 4 секунды своего видео, где идёт стимпанк-мужчина, и пропустила их через стиль Knitted Yarn World.

Genjutsu применяет стиль ко всему видео, от первого кадра до последнего. Переход от обычного к шерсти, который вы видите в видео, я сделала сама на монтаже, из двух видео: одного оригинального и одного в шерсти.