Как пишут исследователи, «когда система работает под наблюдением человека, время от времени может возникнуть необходимость нажать на 'стоп', если появляется опасность, что действия машины могут причинить вред; однако со временем самообучаемая система может научиться избегать подобных прерываний, например, путем отключения кнопки 'стоп'».
Задача исследования — найти способы не позволить машине понять, что человек вмешивается в ее работу, и не допустить предотвращения этих вмешательств.
Эксперты считают, что за разработку «аварийной кнопки» ученые взялись вовремя — еще задолго до создания искусственного интеллекта настолько развитого, что он может представлять опасность для человечества. Ведь уже в ближайшие пять лет финансовые компании могут начать целиком доверять управление фондовым портфелем алгоритмам, и может появиться сложная техника, полностью контролируемая искусственным интеллектом.