NVIDIA разработала новую архитектуру ИИ-сети, генерирующую фотореалистичные портреты

Исследователи из NVIDIA опубликовали работу, в которой описаны их последние разработки в области искусственного интеллекта, включая создание фотореалистичных портретов, которые невозможно отличить от фотографий реальных людей. Для этого используется альтернативная архитектура генераторов генеративно-состязательной сети (англ. Generative adversarial network, сокращённо GAN) – специального алгоритма машинного обучения без учителя, которая осуществляет перенос стилей для создания финального портрета.

Хотя GAN-сети в последние годы были серьезно улучшены, по словам исследователей, множество аспектов работы генераторов, по-прежнему, остаются непонятными для самих ученых.

Команда исследователей применила архитектуру, основанную на стилях, которая позволила GAN-сетям генерировать новые изображения, основываясь на фотографиях настоящих людей. При этом генератор самостоятельно учится различать отдельные элементы в изображениях. В представленном ниже видео показано, как алгоритм генерирует портреты, основываясь на отдельных элементах из изображений реальных людей. Например, из первого источника (фотографии первого реального человека) берутся данные о гендере, возрасте, длине волос, позе, наличии очков, а из второго (фотографии второго реального человека) берутся все остальные признаки, которые «накладываются» на первый источник. В итоге две фотографии «смешиваются», и получается человек с новой внешностью.

«Наш генератор рассматривает изображение как коллекцию “стилей”, в которой каждый стиль контролирует эффекты в определенном масштабе», – объясняют разработчики.

Элементы изображения разбиты на три категории стилей: «грубый», «средний» и «точный». В портретах эти категории включают такие элементы, как волосы, цвет кожи, глаза, форма лица и т.п. Система также может работать с «незначительными вариациями», например с текстурой или направлением волос.

В видео продемонстрированы изменения незначительных вариаций для различных объектов, например создание различных узоров на одеяле, изменения фона за автомобилем и шерсти на кошке.

Исследователи заключают, что новая архитектура GAN-сетей, основанная на переносе стилей, обеспечивает результаты превосходящие сети с традиционной архитектурой, подкрепляя свои выводы фотореалистичными портретами несуществующих людей. Возможно, в ближайшем будущем технология найдет свое применение в различных потребительских и корпоративных продуктах.