Создание группы
Пользователи онлайн-энциклопедии стали массово публиковать бессмысленную и непроверенную информацию, сгенерированную ИИ. Об этом в середине октября 2024 г. пишет издание Techspot. «Википедия» вынуждена создать специальный проект под названием WikiProject AI Cleanup. Команда добровольцев занимается поиском, редактированием и удалением ложной информации, которую создали пользователи с помощью генеративного ИИ.
Редакторы заметили отрывки статей, которые явно были написаны чат-ботом. Подозрения подтвердились, когда сотрудники смогли воссоздать эти тексты с помощью ChatGPT. Как рассказал один из основателей команды WikiProject AI Cleanup (Ilyas Lebleu), именно после этого и было решено организовать проект по поиску ИИ-текста.
Энтузиасты обнаружили статью о якобы османской крепости под названием «Амберлисихар», построенной в 1400 гг. В тексте объемом около 2 тыс. слов подробно описывалось местоположение и строительство этого объекта. Однако на самом деле такой крепости никогда не существовало. Как выяснила команда WikiProject AI Cleanup, некоторые пользователи также вставляют ложные ИИ-данные в уже существующие статьи. Так, в статью о жуке добавили раздел, посвященный виду крабов, причем с правильными ссылками на источники.
ИИ-мусор угрожает ухудшить удобство использования Википедии, и ее редакторы дают отпор. Группа ясно дает понять, что они не хотят запрещать ответственное использование ИИ, а стремятся искоренить случаи плохого источника, галлюцинаций или другого бесполезного ИИ-контента, который снижает общее качество хранилища информации в интернете, существующего десятилетиями.
В некоторых случаях, рассказали редакторы 404, злоупотребление ИИ очевидно. Один из явных признаков - пользователи ИТ-инструментов ИИ оставляют в статьях «Википедии» хорошо известные автоответы чат-ботов, например, абзацы, начинающиеся со слов «как языковая модель ИИ, я...» или «на момент последнего обновления моих знаний». Редакторы также говорят, что научились распознавать определенные прозаические шаблоны и «крылатые фразы», что позволило им выявлять и нейтрализовать неаккуратные тексты ИИ. Тем не менее, многие некачественные материалы, созданные ИИ, трудно заметить, особенно когда речь идет об уверенно звучащих ошибках, скрытых в сложном материале.
Редакторы «Википедии» в некоторых случаях решили понизить уровень надежности некоторых новостных сайтов, таких как Cnet, который WikiProject AI Cleanup уличили в публикации статей с ИИ-ошибками в прошлом году, как прямое следствие неправильного использования ИИ.
Учитывая, что ChatGPT невероятно дешев в массовом производстве, ограничить небрежное содержание ИИ часто бывает непросто. Добавьте к этому тот факт, что онлайн-библиотека является и всегда была краудсорсинговым, добровольным интернет-проектом, и бороться с потоком ИИ-нечистот становится гораздо сложнее.
Кибератаки ИТ-инструментами на основе ИИ
Хакеры по всему миру активно интересуются ChatGPT от американской научно-исследовательской организации OpenAI. Более 250 тыс. доступов к ChatGPT в даркнете обнаружила канадская компания Flare, работающая в сфере безопасности. На тематических хакерских форумах и в группах за полгода ChatGPT упоминается более 35 тыс. раз.
Сам по себе ИТ-инстурмент не опасен, но человек всегда напишет более точечное письмо, подчеркивает сооснователь проекта StopPhish . Но когда злоумышленникам потребуется масштабировать кибератаку на большое количество организаций или пользователей, то нагрузку, связанную с человеческим ресурсом, они могут переложить на ChatGPT, поясняет он.
По информации Forbes, чат-бот может писать код на уровне начинающего программиста, поэтому с его помощью можно создавать различные вредоносные программы и сайты без каких-либо знаний в программировании. Нельзя сказать, что нейронная сеть оставит без работы хакеров, но свою основную задачу в виде автоматизации рутинных процессов и сокращение требуемого на работу времени, ChatGPT выполняет качественно. С помощью чат-ботов можно генерировать дипфейки на основе личных фотографий пользователей, чтобы потом шантажировать жертву и требовать выкуп, есть схемы и с имитацией голоса с помощью ИИ, например для звонков из службы безопасности какого-либо банка.
Хакеры уже активно используют, в том числе и в России, языковые модели как приманки в рамках мошеннических схем. Контент-аналитики из «Лаборатории Касперского» обнаружили схему, в которой злоумышленники выманивали деньги через умный чат-бот для поиска интимных фотографий в Telegram. Авторы чат-бота заявляли, что он якобы работает на основе ChatGPT и с его помощью можно искать в некой базе слитые фотографии человека, имея на руках ссылку на его профиль в социальных сетях или номер телефона. На определенном этапе человека просили заплатить 399 руб. за разовый доступ к базе или 990 руб. за безлимитный. Если жертва переводила деньги, то они уходили злоумышленникам, никаких фотографий человек, разумеется, не получал.
Несмотря на то, что участники в даркнете обмениваются способами применения ChatGPT в своих кибератаках, нейросеть может генерировать свои ответы лишь на основе тех материалов, которые в настоящее время уже есть в интернете. Иными словами, даже если злоумышленники смогут «заставить» помочь чат-бота с написанием вредоносного кода, вряд ли на данном этапе развития языковых моделей это позволит им значительно усложнить свои ИТ-атаки.
- Подобрать защищенное облако IaaS ФЗ-152 на ИТ-маркетплейсе Market.