Как пояснил (Marco Figueroa), менеджер программ по поиску уязвимостей в генеративных ИИ в Mozilla, Gemini для Workspace может быть использован злоумышленниками для создания резюме писем, которые выглядят совершенно невинно, но содержат скрытые вредоносные инструкции или предупреждения, в результате чего пользователей перебрасывает на фишинговые сайты. При этом ни вложений, ни прямых ссылок в такой атаке не фигурирует. Прием получил название «косвенная инъекция промпта».
Аналогичные атаки выявляются с 2024 г., и ИИ-вендоры сейчас реализуют страховочные меры, которые должны помешать давать превратные ответы. Тем не менее, пока что методика остается действующей. По крайней мере, в отношении Gemini.
Процесс атаки включает создание письма с невидимой для пользователя директивой для Gemini. Злоумышленник может спрятать вредоносную инструкцию в теле письма, используя HTML и CSS для установки размера шрифта на ноль и изменения цвета текста на белый. Таким образом, человек ничего не увидит: скрытое сообщение не отобразится в интерфейсе Gmail. Плюс, поскольку в письме нет ни вложений, ни ссылок, вероятность автоматической отправки его в спам оказывается сравнительно низкой.
Ну, а машина, формируя краткое резюме почтового сообщения, - прочитает и выполнит закамуфлированные таким образом инструкции без всяких проблем.
Фигероа, в частности, продемонстрировал, как Gemini выполняет скрытую команду, добавляя в резюме предупреждение о якобы скомпрометированном пароле от Gmail и прикладывая номер телефона для связи с «техподдержкой».
Ну, а поскольку пользователи демонстрируют противоестественную доверчивость к выдаче Gemini - равно как и других чатботов, - очень высока вероятность, что подсунутая фальшивка будет принята за чистую монету.
Доработать напильником
Фигероа, хотя сам является сотрудником Mozilla, представил информацию через открытую платформу 0din, баг-баунти программу Mozilla для генеративных инструментов ИИ.
Кроме того, он предложил сразу несколько методов противодействия подобным трюкам. Один сводится к удалению, нейтрализации или игнорированию замаскированных элементов контента, например, строк с нулевым размером шрифта или белым цветом. Другой подход - внедрение фильтра постобработки, который анализирует вывод Gemini на наличие срочных сообщений, URL-адресов или номеров телефонов, помечая такие сообщения для дальнейшей проверки.
И, как пишет издание Bleeping Computer, необходимо помнить, что сгенерированные Gemini резюме авторитетным источником считать не стоит, особенно, когда речь о вопросах безопасности.
В Google изданию заявили, что некоторые защитные меры уже находятся на этапе внедрения или готовятся к развертыванию, а также что к данному моменту компания не зафиксировала случаев эксплуатации Gemini подобным способом.
«Не зарегистрировала - еще не значит, что таких атак на Gemini не было», - замечает , директор по информационной безопасности компании SEQ. «Безусловно, само наличие такой возможности следует рассматривать как прямую и непосредственную угрозу. Лежащую, к тому же, на поверхности».