Искусственный интеллект для камер смартфонов: что это и как работает

ГлавнаяНовостиНовостиНовости, 202204Новости, 202204 → Искусственный интеллект для камер смартфонов: что это и как работает
- КиТ :: Будь в СЕТИ!

Существует стереотип, что ИИ нужен только для развлечений: чтобы «приклеить» усы на селфи или перекрасить траву на фотографии. Однако технологии на базе искусственного интеллекта помогают адаптировать параметры съемки, чтобы мы могли получить отличный кадр без настройки камеры вручную. Редакция ZOOM.CNews разобралась, как именно ИИ помогает снимать на смартфон. Кого считать автором фото: человека или ИИ? Прежде чем говорить о том, что такое искусственный интеллект (ИИ), стоит пару слов сказать об интеллекте естественном. Как понимают этот термин ученые, занятые в сфере когнитивных наук, интеллект – это качество психики, благодаря которому человек способен воспринимать и анализировать информацию, обобщать ее, делать выводы и действовать на их основе.

Также понятие «искусственный интеллект» связано с термином «нейросети». По сути, нейросеть является цифровой имитацией человеческого мозга. Клетки-ячейки нейросети (эквиваленты нейронов в человеческом мозге) соединяются друг с другом как и в «биологическом» мозге при помощи синапсов – специфических связей. Они проводят и обрабатывают сигналы, поступающие извне.

Термин Artificial intelligence (AI) был впервые использован в 1956 году Джоном Маккарти – автором первого искусственного языка программирования. В шестидесятые годы и далее в разных странах мира, в том числе и в Советском Союзе, велись работы по обучению искусственного интеллекта способам мышления, схожими с человеческим. На данный момент большинство научных сообществ, технических компаний и политических лидеров признают дальнейшее развитие ИИ одной из приоритетных сфер научно-технического прогресса.

Искусственный интеллект сейчас находит применение фактически везде: на производстве, в бизнесе, сфере развлечений, медицине, искусстве, продажах, в банковской сфере и социальных сетях.

Выделяют три вида ИИ в зависимости от уровня развития: слабый, общий и сильный.

ИИ может выполнять определенный набор задач и даже делать это лучше человека, постоянно развиваясь в конкретном направлении. Это тот вариант AI, с которым мы имеем дело сейчас, говоря об его использовании при съемке на смартфон.

ИИ может справляться с интеллектуальными задачами творческого характера. Создавать произведения искусства (например, писать стихи или картины). Или просто расспросить пользователя, как прошел его день, и выразить сочувствие, если что-то случилось. Такая технология используется в голосовых помощниках.

ИИ способен справляться с любыми задачами, любого плана. И делать это лучше, чем человек. Соответственно, он сам способен создавать машины более высокого уровня – пожалуй, страшный сон человечества.

До сих пор нет единого понимания и отношения к искусственному интеллекту. Одни видят в нем просто технический инструмент для работы, другие – объект для развлечений, а третьи – опасность для существования человечества. Однозначно можно утверждать лишь то, что в нашей повседневной жизни ИИ играет все большую роль, хотим мы того или нет. И происходит это не где-то в далеком будущем, а здесь и сейчас. Вспомните только гуляющие по интернету ролики, где люди помогают роботам-доставщикам перейти дорогу – такими машинами также управляет искусственный интеллект. И это вовсе не кадры из научно-фантастического фильма.

Мы уже давно привыкли к тому, что в большинстве камер существует автоматический режим: вот только проблема в том, что к автоматике не прилагается волшебная кнопка «сделать шедевр». А хотелось бы! Поэтому производители активно работают, пытаясь удовлетворить этот запрос пользователей.

Все чаще качество фотографий, сделанных с помощью камеры смартфона, не связано с возможностями самой камеры, количеством мегапикселей и даже творческим потенциалом ее владельца (к некоторому нашему сожалению). Конечный результат съемки зависит от работы процессора – в частности, его нейромодуля, благодаря которому и функционирует ИИ.

С чего все начиналось? В 2016 году компания Google представила свои супер-флагманские смартфоны Pixel и Pixel XL, обозначив переход мира мобильных устройств в эпоху искусственного интеллекта. У продуктов Apple в 2017 году в чипе Apple A11 Bionic также появился так называемый «нейронный движок» (Neural Engine) – он отвечает за работу ИИ.

В 2017 году Huawei представила свои флагманы Mate 10/10 Pro на базе SoC HiSilicon Kirin 970 с выделенным нейронным модулем (NPU). Не стала отставать от конкурентов и компания Qualcomm, выпустив в 2018 году чипсет AI Engine на базе мобильных процессоров Snapdragon.

При съемке ИИ анализирует кадр для установки оптимальных настроек камеры. Для этого нейронный движок должен «пройти обучение», изучив огромное количество изображений: он учится отличать объекты в кадре и понимать условия освещения (свет – один из основных параметров фотографии). В итоге мобильная съемка, сопровождаемая AI, проходит те же этапы, что и съемка, где за все отвечает сам пользователь. Но в случае с умными камерами все задачи по настройке параметров камер и последующей корректировке цвета берет на себя искусственный интеллект – или нейромодуль процессора.

Постоянно получая и анализируя большое количество информации, ИИ способен вычислить, какая картинка будет наиболее приятна нашему глазу. Исходя из этого, он не только помогает камере настроить параметры съемки, но и производит программную постобработку кадра, применяя определенные алгоритмы по его улучшению в зависимости от исходника.

Итак, на что же способен ИИ в камере смартфона?

Анализ сцены. Первое, что делает AI при съемке – анализирует сцену и объекты, которые пользователь снимает. Оценивается сам предмет съемки: пейзаж, архитектура, ребенок, домашнее животное и т.п. Современные смартфоны с AI-камерами умеют распознавать десятки сюжетов съемки и применяют для них разные алгоритмы обработки. Также анализируются условия освещенности: от них зависит значение экспозиции. Чем меньше света попадает в кадр, тем больше должна быть раскрыта диафрагма и дольше выдержка.

Цвет. Все знают, что цвета предметов на фотографии зависят от уровня освещенности, от того, какой свет присутствует в кадре – естественный или искусственный. Солнце в зените создает в кадре глубокие, черные провалы в тени, а цвета кажутся блеклыми и смазанными. Холодный, жесткий свет ламп дневного освещения, теплый свет ламп накаливания – все эти особенности освещения приходится учитывать фотографу при выставлении вручную так называемого баланса белого. Но с камерой, которой управляет ИИ, пользователю не придется производить дополнительных «телодвижений». Нейронный движок сам выставит правильный баланс белого для каждого кадра и доработает цвета: сделает траву зеленее, небо – голубее, а кожу – румянее.

Удаление из кадра объектов. Вы снимаете сквозь стекло, например, в музее? Или сквозь сетку или решетку в зоопарке? Сегодня искусственный интеллект, который используется в мобильной съемке, умеет даже убирать такие артефакты из кадра.

Бьютификация. Полагаем, что здесь не требуется серьезных объяснений. Эта функция играет особенно важную роль при портретной съемке. ИИ виртуально проводит настоящие косметические процедуры: выравнивает кожу, убирает ее недостатки, придает лицу здоровый цвет и т.д.

Ночная съемка. Во-первых, при съемке в условиях плохого освещения ИИ оценивает, где находится смартфон: держит его пользователь в руках или установил на неподвижную поверхность. В соответствии с этим гаджет выберет выдержку. Во-вторых, в зависимости от объекта съемки и освещения сцены будет выбрана подходящая экспозиция и количество кадров для дальнейшего их попиксельного склеивания (вернее тех из них, которые удачно получились). На конечном этапе работы ИИ проводит анализ всех сделанных кадров, выбраковывает неудачные, а все удачные соединяет в одно итоговое изображение.

Что еще может сделать ИИ? При съемке на высоких значениях ISO в кадре неизбежно появляется тепловой шум – мелкие цветные точки, мешающие восприятию изображения. ИИ способен избавить изображение от них, при этом не уменьшая уровень детализации.

Стабилизация. ИИ способен высчитать уровень тряски телефона и динамически компенсировать ее в каждый отдельный момент времени. Таким образом, благодаря нейродвижку в современных процессорах вы получите ровную, плавную картинку даже при съемке на камеру без оптической стабилизации.

Представьте, что света при съемке не хватает, и резкость кадра оставляет желать лучшего. И здесь на помощь может прийти ИИ. Проанализировав кадр и объекты, изображенные на нем, технология заменит неудавшиеся части снимка на имеющиеся в базе данных изображения. Получить отличный снимок объектов на дальнем расстоянии с помощью камеры смартфона – легко! Например, луны – почему бы нет? ИИ подберет из своей базы данных подходящее изображение и заменит часть исходного снимка на него, подогнав по размеру.

Мультисъемка. У разных производителей этот режим называется по разному: у Honor это «Мультивидео», у Samsung – Directors View («Режим режиссера»). Вне зависимости от названия суть одна – благодаря технологиям ИИ смартфоны могут вести запись одновременно на две камер: тыльную и фронтальную. Полезная функция для ведения репортажей, записи интервью или памятных моментов.

Кого считать автором фото: человека или ИИ?

В качестве итогов напомним, что на современном этапе развития мобильной фотографии не столь важно, какого размера матрица или какими линзами оснащен объектив. Гораздо важнее, какой процессор и нейромодуль скрывается за всеми действиями камеры смартфона.

Уже сегодня ИИ умеет многое – и продолжает развиваться. Благодаря умным камерам цвета на фото получаются более насыщенными, нет теневых провалов и участков пересвета, а лица людей «обработаны» косметически.

Правда, возникает вопрос: кого считать автором фотографии, созданной с помощью ИИ? Зачастую смартфон выдает такой яркий кадр, что объект на нем выглядит более привлекательно, чем в реальности. Не являются ли такие фотографии заведомым обманом зрителя? А как же первый из законов робототехники Айзека Азимова? Ведь робот не должен причинять вред человеку своим действием или бездействием. А такой обман можно квалифицировать как вред? Вопросов пока больше, чем ответов на них. Однозначно можно сказать одно – такие фотографии наберут много лайков в соцсетях, ведь ИИ знает, как нам понравиться.

ГлавнаяНовостиНовостиНовости, 202204Новости, 202204 → Искусственный интеллект для камер смартфонов: что это и как работает