Нейронные сети как способ радикально повысить качество фотографий, сделанных на смартфон

Пару лет назад инженеры Samsung и Apple научили фотомодули топовых смартфонов эмулировать боке программным способом. За первым вызовом, который коммуникаторы бросили профессиональной фототехнике, последовало продолжение - его нам обещают разработчики швейцарского исследовательского центра ETH.

Проект из Швейцарии в буквальном смысле обещает перевернуть взгляды многих людей на мобильную фотографию, точнее на её качество. Лучше всего смысл проекта читается из его миссии, представленной на сайте:

Несмотря на стремительный рост технологий, характеристики камер, встроенных в смартфоны, имеют объективные физические ограничения (вроде компактных размеров сенсора или оптики), мешающие достичь уровня качества, сопоставимого с зеркальными камерами. Новая разработка, основанная на глубоком машинном обучении, поможет преодолеть это "бутылочное горлышко".

Такая формулировка может трактоваться по-разному, но в данном случае авторы под "качеством уровня DSLR-камер" подразумевали в первую очередь резкость, работу с цветом и тональностью. Для создания ПО команда разработчиков начала с обучения системы, которой последовательно "скармливали" двойную порцию сцен, отснятых на смартфоны и на зеркалки (к примеру на модель EOS 70D от Canon).

После этого в базу данных были загружены наборы изображений, сделанных на разные типы зеркальных камер (уже без смартфонного варианта).

Достигнутая цель - загрузка фото в систему с его последующей калибровкой под результат выбранной зеркальной камеры - все еще требует доработок, так как нередки промашки с цветопередачей или хромает детализация.

А вот с яркостью и экспонированием дела обстоят лучше, причем разница эта становится тем очевиднее, чем старее камера смартфона.

Пожалуй, самой амбициозной задачей авторов нейронной сети является корректировка на снимке самих погодных условий, а система, к примеру, должна без особых усилий выдавать солнечный пейзаж вместо дождливого.

Проект является открытым и на сегодняшний момент любой желающий может опробовать его способности.