Нейросеть, которую назвали PLATO (Physics Learning through Auto-encoding and Tracking Objects) представляет и «рассуждает» о мире как о наборе объектов. Алгоритм от исследователей из DeepMind самостоятельно выучил базовые физические принципы, просмотрев 300 тысяч часов синтетических видео взаимодействия различных предметов. В результате модель научилась делать прогнозы о том, где будут находиться объекты в будущем, основываясь на их положении и взаимодействии между собой в прошлом.
PLATO состоит из двух частей: модуля восприятия и динамического модуля. Модуль восприятия системы кодирует изображения в эмбеддинг - сжатое векторное представление тех же данных. Динамический модуль «смотрит» на этот и все предыдущие эмбеддинги и предсказывает следующий кадр. Если предсказание алгоритма не сошлись с поведением объектов в ролике, алгоритм выражает «удивление».
«Понимание физических концепций наблюдалось у младенцев в возрасте двух с половиной месяцев. Каковы же результаты PLATO? Мы обнаружили, что алгоритм может усвоить физические концепции всего за 28 часов визуального опыта. Синтетический характер нашего набора данных не позволяет нам провести сравнение между навыками ребенка и нейросети. Однако полученный результат дает возможность предположить, что интуитивная физика может быть изучена относительно быстро, если она поддерживается представлением о мире как о наборе объектов», - поделились авторы проекта.