Без моральных ограничений
На киберкриминальных форумах рекламируется новый хакерский инструмент - WormGPT. Как можно понять из названия, это генеративный ИИ, который можно использовать для осуществления продвинутых кибератак.
Автор разработки утверждает, что WormGPT - это «главный враг всем известного ChatGPT», с помощью которого можно совершать «все незаконные действия, какие только захочется».
«Этот инструмент продвигается как хакерская альтернатива GPT-моделям, которая разработана специально для вредоносных действий, - говорит исследователь вопросов кибербезопасности (Daniel Kelly), сотрудник компании SlashNext. - Киберпреступники могут использовать эту технологию для создания крайне убедительных почтовых сообщений, персонализированных под получателя и тем самым повышающих вероятность успеха кибератаки».
Массивные языковые модели можно научить делать все, что угодно - оценивать этичность действий или ответов ИИ сам по себе не умеет. OpenAI и Google реализовали в своих ChatGPT и Bard барьеры, нацеленные на то, чтобы блокировать злоупотребления, в том числе связанные с киберпреступностью. C их помощью нельзя сгенерировать фишинговое или BEC-письмо напрямую (BEC - businessemailcompromise, компрометация корпоративной почты, то есть фишинг корпоративного масштаба). Заставить чат-ботов написать вредоносный код также затруднительно.
Хотя, как отметили представители компании CheckPoint в своей публикации, барьеры против злоупотреблений в случае Bard намного ниже, чем у ChatGPT, и его функциональность оказывается намного проще эксплуатировать для генерации вредоносного контента.
Но и с ChatGPTне все гладко: еще в феврале 2023 г. эксперты CheckPoint продемонстрировала, как киберзлоумышленники могут обходить его ограничения, эксплуатируя особенности его API. Кроме того, в киберподполье вовсю торгуют премиальными аккаунтами в ChatGPT и ПО для брутфорс-атак на них.
Мало того, злоумышленники предлагают и джейлбрейки к ChatGPT - специально сконструированные запросы, которые позволяют обходить ограничения и заставлять чат-бота выдавать нужные (и далекие от этичности и безопасности) результаты, в том числе, связанные с раскрытием важной информации, генерацией неподобающего контента и запуском вредоносного кода.
Очередная «демократизация» вреда
С WormGPT необходимости манипуляций отпадают: этот генеративный ИИ лишен каких-либо этических барьеров.
«Использование генеративного ИИ демократизирует осуществление сложных BEC-атак. Даже те, у кого квалификация очень низкая, могут воспользоваться этой технологией, что превращает ее в доступный инструмент для более широкого спектра киберпреступников», - отметил Келли.
«Все, что можно использовать во благо, способно причинять и вред, так что появление вредоносных ИИ было вопросом времени, - считает , эксперт по информационной безопасности компании SEQ. - WormGPT - это, вероятно, первый ИИ, натренированный на заведомо незаконные действия. Обвинять в этом можно только его непосредственных создателей, а также то, что создатели самой технологии масштабных языковых моделей явно не придавали большого значения перспективам злоупотребления».
Как пишет Hacker’sNews, нынешняя публикация SlashNext совпала по времени с раскрытием данных об эксперименте французской компании Mithril Security, чьи специалисты переиначили существующую ИИ-модель GPT-J-6B, заставив ее распространять дезинформацию. «Отравленная» или, как выразились авторы публикации Mithril, «подвергнутая лоботомии» модель была выложена на репозиторий Hugging Face в общий доступ, так что ее можно было интегрировать в уже существующие приложения и тем самым нарушить их нормальное функционирование.
Успешность метода, названного PoisonGPT основывается на использовании наименования, которое легко спутать с известными брендами.