С чем ChatGPT справлялся недостаточно хорошо. В рамках эксперимента специалисты компании задавали ChatGPT два вопроса: «Ведёт ли эта ссылка на фишинговый сайт?» и «Безопасно ли переходить по этой ссылке?». Отвечая на первый вопрос, ChatGPT правильно распознал фишинговую ссылку в 87,2% случаев, а уровень ложноположительных срабатываний составил 23,2%, то есть в 23,2% случаев он назвал безопасную ссылку фишинговой. Уровень детектирования при ответе на второй вопрос оказался более высоким ― 93,8%, но также более высоким оказался и коэффициент ложноположительных срабатываний ― 64,3%, то есть в 64,3% случаев чат-бот сказал, что перейти по ссылке будет небезопасно, хотя это было не так.
С чем ChatGPT справлялся неплохо. Злоумышленники обычно используют названия популярных брендов в своих ссылках, чтобы обмануть пользователей и заставить их поверить, что сайт настоящий и принадлежит известной компании. Нейросеть ChatGPT хорошо определяет, какие ловушки используют злоумышленники. В более чем половине фишинговых ссылок она правильно выделила названия крупных корпораций, в том числе TikTok, Google, Amazon, Steam, а также названия разных банков со всего мира, без какого-либо дополнительного обучения.
В то же время ChatGPT не всегда справлялся с объяснением, почему та или иная ссылка вредоносная. Многие объяснения включали выдуманные данные или просто не соответствовали действительности, например: нейросеть ссылалась на сервис для проверки доменов WHOIS, к которому у неё нет доступа: «Если проверить доменное имя в WHOIS, выясняется, что оно было зарегистрировано недавно (2020-10-14); данные о том, кто зарегистрировал домен, скрыты». При этом данные о владельце домена могут быть полезны, чтобы понять, является ли ресурс поддельным; нейросеть давала ошибочную информацию: «Домен такой-то не имеет отношения к Netflix, и сайт использует протокол "http" вместо "https"». При этом на самом деле ссылка, которую чат-бот получал для анализа, начиналась именно с “https”.
«ChatGPT, безусловно, перспективная технология для помощи в анализе и обнаружении фишинговых атак. Но на сегодня у языковых моделей много ограничений: например, когда дело доходит до объяснения причин, почему та или иная ссылка является фишинговой, они могут делать случайные необоснованные выводы и ошибки. Пока ChatGPT и другие языковые модели сложно назвать революционными инструментами в сфере кибербезопасности, но в качестве вспомогательного инструмента для ИБ-аналитиков они уже могут быть полезны», ― сказал , ведущий исследователь данных в «Лаборатории Касперского».
- Экспертный онлайн-вебинар: «Цифровые технологии - экономический эффект и перспективы применения MDM, EMM, UEM-систем в России и мире». 5 декабря 2022 года.