По мере развития нейросетей их возможности становятся всё более продвинутыми, а область распространения всё шире. Нейросеть Runway пытается заменить не только фотографа или художника, но и видеооператора с режисёром. Он умеет генерировать четырёхсекундные видео на заданную тему, которые можно использовать по отдельности или смонтировать в короткометражный фильм или рекламный ролик.

Одна нейросеть сгенерировала картинку про то, как другая нейросеть снимает видео / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Регистрация и начало работы в Runway

Для начала надо найти в интернетах сайт нейросети Runway и зарегистрироваться на нём. На странице перед регистрацией рассказывают о том, как прекрасна нейросеть и как мощны её лапищи, а после регистрации сразу предлагают сменить бесплатный тариф на стандартный за 12 долларов в месяц — на нём можно генерировать видео повышенного разрешения без водяных знаков и с меньшим временем ожидания.

А вот количество ресурсов для генерации и в стандартной, и в бесплатной версии одинаковое: 125 секунд сгенерированного видео в месяц. Правда, в стандартной подписке можно при необходимости докупить ещё нейросетевого времени, ну а бесплатным пользователям придётся ждать месяц (и, кстати, через месяц им дадут уже в пять раз меньше времени, всего 25 секунд).

На сайте Runway можно зарегистрироваться с помощью почты или войти с уже существующим аккаунтом / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Главная страница сайта похожа на другие онлайн-сервисы для работы с нейросетями: есть отдельные иконки для нейросетевых инструментов, обучающие видео и галерея с примерами генераций, которые можно изучать и использовать идеи и описания в своей работе. 

Нейросетевых инструментов здесь хватает: есть и генератор картинок по текстовому описанию, инструменты удаления и расширения фона, цветокоррекция и размытие лиц на видео. Но в первую очередь нас интересуют инструменты для работы с видео: создание видео из картинок и по текстовому запросу.

Большой баннер на странице сразу предлагает использовать нейросеть Runway Gen-2 для создания видео / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как создать ролик для соцсетей в нейросети Runway

Давайте протестируем, насколько хорошо нейросеть подходит для решения реальных задач. Попробуем с её помощью создать рекламный ролик для пиццерии, который можно разместить в соцсетях. Для этого нужно создать отдельные фрагменты (панорама пиццерии снаружи, повар готовит пиццу, крупные руки с пиццей и люди, которые её едят), а затем смонтировать эти кусочки в единый ролик.

Как анимировать изображение с помощью Runway Gen-2

Самое простое, что можно сделать с помощью нейросети Runway Gen-2, это «оживить» уже имеющуюся картинку или фотографию, превратив её в 4-секундный ролик. Для этого нужно нажать кнопку «Start with Image» на главной странице, и перетащить фотографию на экран. 

Для начала можно ничего не настраивать и сразу нажать «Generate 4s» / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Примерно через минуту нейросеть создаёт четырёхсекундный ролик из исходной картинки. Результат получился немного психоделичным: кусок пиццы в руке превратился в целую и улетает вверх.

Если хочется большего контроля над видео, придётся покопаться в настройках. В общих настройках (1) есть только один важный пункт — галочка Interpolate. Она отвечает за интерполяцию промежуточных кадров и делает видео более плавным. А вот галочки Upscale для увеличения разрешения видео и Remove watermark для удаления водяного знака доступны только платным подписчикам.

Настройки генерации видео / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Далее идут настройки движения. General motion (2) отвечает за то, насколько динамичным будет кадр: чем выше значение, тем активнее всё будет двигаться. С помощью Camera motion можно почувствовать себя профессиональным оператором и настроить то, как будет двигаться камера в кадре. Ползунки задают направления движения (вперёд-назад, вправо-влево, вверх-вниз, наклон, поворот и зум) и его интенсивность.

И, наконец, с помощью инструмента Motion brush можно создать маску и выделить только те участки, которые должны шевелиться, а всё остальное оставить неподвижным. У этой кисти тоже есть свои настройки: можно указать, куда именно должны двигаться элементы картинки. 

К сожалению, нельзя использовать несколько кистей и заставить разные части изображения двигаться независимо (например, чтобы сыр стекал вниз, а пар шёл вверх) / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как создать видео по текстовому описанию в Runway Gen-2

Нейросеть Runway Gen-2 умеет не только добавлять движение к готовым картинкам, но и создавать видео с нуля. Для этой работы используется то же самое окно, только вместо вкладки Image нужно переключиться на вкладку Text и ввести описание в текстовое поле.

У этой вкладки есть дополнительная настройка для выбора стиля. Среди них есть аниме, кинематографичный стиль, комикс, пластилиновая и обычная анимация, 3D / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Давайте создадим видео с шеф-поваром пиццерии, который стоит у печи и готовит пиццу. Текстовое описание для Runway должно быть на английском языке: Cinematic shot, long shot, wide angle, the chief puts the pizza in the oven, pizzeria on the background, Shallow focus, warm light (Кинематографичный кадр, общий план, шеф-повар кладёт пиццу в печь, пиццерия на заднем плане, малая глубина резкости, тёплый свет).

Повар выглядит немного пугающим и не особо реалистичным / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как и при работе с картинкой, можно задать в настройках направление движения камеры. Предыдущий повар вышел не очень динамичным, и его пришлось сгенерировать заново, добавив отрицательный зум камеры.

Ещё у нейросети есть режим работы с картинкой и текстовым описанием одновременно. В более ранней версии интерфейса этот режим находился во вкладке Text — просто в нём было окошко для загрузки изображения. В него можно было перетянуть картинку, которую нейросеть использовала в качестве образца стиля, и генерировала похожее по стилю видео с заданным в текстовом поле описанием (в обучающих роликах на сайте до сих пор показан именно такой способ работы).

А вот в актуальной версии интерфейса появилась новая вкладка Image+Description, которая ведёт себя странно: нейросеть просто анимирует загруженную картинку, а не использует её для копирования стиля. Описание в текстовом поле при этом просто игнорируется. Результат очень похож на то, что делает нейросеть во вкладке Image для работы с картинками без текста.

У нас не получилось сгенерировать раскатку теста для пиццы, используя готовую картинку в качестве референса для нейросети — на выходе опять вышла анимированная картинка с пиццей / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как смонтировать ролик из отдельных фрагментов

Все отдельные фрагменты сгенерированы, можно монтировать. Для монтажа можно скачать 4-секундные кусочки на компьютер и воспользоваться каким-нибудь редактором. А можно смонтировать прямо на сайте. Для этого на главной странице нужно выбрать Video Editor Projects и нажать кнопку для создания нового проекта.

Бесплатный план позволяет создать три видеопроекта / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

После создания проекта открывается простенький видеоредактор, в котором есть две дорожки для видео и две для аудио. Слева в браузере находятся все материалы, с которыми работали — и загруженные, и созданные нейросетью. Справа — менеджер эффектов и фильтров.Там есть и странные фильтры (пикселизация или стилизация под картинку на экране древней игровой приставки), и полезные инструменты (размытие, трекинг, работа с хромакеем).

Перетаскиваем кусочки видео в нужном порядке на таймлайн / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Экспортировать ролик можно только в размере 1280х720 и формате .mp4 — это ограничения бесплатного плана. В платных версиях можно монтировать 4К-ролики и экспортировать их в профессиональном формате ProRes. Вот что в итоге получилось:

Как видно, работа нейросети не дотягивает до нормально срежиссированного и снятого на камеру ролика. Люди не очень анатомичны, движения персонажей в кадре почти нет (движется в основном камера), а общая атмосфера напоминает то ли сюрреалистичную арт-хаусную котроткометражку, то ли трейлер к малобюджетному ужастику. 

Вывод — чтобы создать действительно приличный ролик, в конце 2023 года всё ещё нужен оператор с камерой или хорошим смартфоном. Ну а генерация видео нейросетями пока что больше подходит для развлечения, чем для профессиональных целей.