Данные Kinect упрощают классификацию образов и распознавание предметов и действий.
Алгоритмы Саксены, например, могут определить, что человек насыпает себе хлопья на завтрак, и отдать команду на извлечение молока из холодильника. Можно также «угадать», что хозяину понадобится ложка и подать либо предложить ее. Всего же на сегодня роботы распознают около 120 повседневных действий, понимая, в том числе, когда человек ест, пьет, делает перестановку мебели или уборку, кладет предметы друг на друга и принимает лекарства.
«Тактичный» робот-пылесос, увидев, что в комнате смотрят телевизор, мог бы отложить уборку и пока заняться другим помещением. Роботы на сборочных линиях, понимающие действия людей, могли бы помогать им или, наоборот, не вмешиваться не ко времени.
Саксена уверен, что некоторые из этих сценариев могут осуществиться уже в ближайшие пять лет. Он с нетерпением ждет выхода Xbox One, чья HD-камера позволит распознавать более трудноуловимые движения, чем определяет нынешняя модель Kinect, — например, движения пальцев рук.