С помощью нейросети можно повысить разрешение до 720р, частоту кадров до 60 FPS, убрать шумы и дрожание камеры. В будущем после оптимизации технологии появится и возможность улучшать ролики до разрешения FullHD. Технология является собственной разработкой «VK видео», и, по заявлению представителя сервиса, не имеет аналогов у других крупных видеоресурсов.
Сделать свои ролики качественнее в один клик сможет каждый пользователь сервиса, для этого достаточно выбрать опцию автоматического улучшения при загрузке видео на платформу. Алгоритмы проанализируют ролик и предложат оптимальный вариант улучшения качества на основании внутренних критериев. Обработку можно включить для видео любой длительности и размера. Кроме того, на «VK видео» теперь можно загружать ролики 60 FPS - так платформа отвечает на развитие техники и многочисленные запросы аудитории на поддержку высокой кадровой частоты. Технология NeuroHD работает при загрузке видео через веб-версию «Вконтакте».
Для повышения частоты кадров и разрешения технология использует нейросеть, которая анализирует объекты на видео и их перемещение и достраивает дополнительный кадр между каждой парой кадров исходного ролика. Это делает более комфортным просмотр динамичных видео - движения в них выглядят более естественными и плавными. Для любительских видео, снятых с руки, повышение кадровой частоты даёт эффект стабилизации - за счёт большего числа кадров в секунду тряска на видео сглаживается. В результате смотреть экшен-ролики, записи спортивных и киберспортивных соревнований в «VK видео» станет комфортнее.
Александр Тоболь, CTO «Вконтакте», «VK видео», сказал: «В «VK видео» мы стремимся обеспечить высочайшее качество сервиса, ускоряя доставку контента и предоставляя пользователям максимально чёткую картинку, - в дополнение к 4К-разрешению добавили поддержку 60 FPS. Мы первыми среди видеоресурсов внедряем автоматическое улучшение видео для миллионов пользователей нашей платформы. Насладиться качественными роликами теперь можно, даже если они были сняты с тряской или в низком разрешении. Мы продолжаем улучшать технологию NeuroHD, на следующем этапе она сможет улучшать качество прямых трансляций, что станет нашим прорывом в видеотехнологиях».
Работа NeuroHD направлена на высокую производительность - нейросеть сможет в режиме реального времени улучшать миллионы ежедневно загружаемых на платформу роликов. Архитектура решения, созданного в «VK видео», позволила встроить процедуру нейросетевого улучшения в обычный процесс транскодирования видео - в результате требуется меньше накладных вычислительных расходов и систему легко масштабировать, чтобы обеспечить пользователей большим числом видео в повышенном качестве.
NeuroHD станет полезной технологией для авторов контента, ранее «VK видео» внедрила несколько технологий в помощь контентмейкерам. Видео теперь обрабатывается посегментно при загрузке на платформу, благодаря чему зрителям не нужно ждать завершения процесса для всего ролика - начать его смотреть можно сразу же после заливки автором. Алгоритмы платформы могут показывать пользователям индивидуальные обложки видео - именно такие, которые окажутся наиболее интересными для разной аудитории.