Великая борьба с программами-обертками

Не секрет, что в современном мире проблема нежелательного и вредоносного ПО встает все более и более остро. Ботнеты различного назначения, локеры, adware… Разумеется, многие пытаются с этим бороться. Я работаю на одного регионального провайдера, и мы тоже проводим политику пассивного предупреждения пользователей, продвигаем антивирусы и культуру использования интернета. В конце концов нам же лучше, если у клиента все работает быстро и адекватно. С недавних пор к этому подключились и поисковики. Под катом занимательная история о том, как мы стали жертвой этой борьбы, а также повод задуматься, к чему это все может привести. Только закончилось лето, ничто, как это обычно бывает, не предвещало беды. Внезапно приходит письмо от Яндекса следующего содержания: На страницах сайта *****.ru обнаружены ссылки на файлы или программы, к которым добавлено дополнительное программное обеспечение. Таким образом, вместе со скачанным файлом на компьютер посетителя могут быть установлены дополнительные программы — безопасные или сомнительные. В настоящий момент сайт выводится в результатах поиска с пометкой «Будьте осторожны при скачивании файлов с этого сайта». Пожалуйста, удалите ссылки на скачивание таких файлов. Если при новой проверке они не будут обнаружены, пометка в результатах поиска будет снята. Домен, о котором идет речь — наш небольшой форум. Мы никак его не продвигаем, это просто место для общения абонентов друг с другом на различные темы. Первая мысль — поломали! Вторая мысль — кто-то из юзеров выложил что-то нехорошее. Тут же начинаем проверку — просматриваем код страницы, смотрим последние форумные вложения… И ничего не находим. Пишем в саппорт Яндекса с вопросом что, собственно, происходит, довольно быстро приходит ответ, который нас несколько ошарашил и привел к возникновению следующей переписки. Яндекс: На Ваш сайт поступают жалобы от пользователей на скачивание нежелательных исполняемых файлов. Как только жалобы прекратятся, пометка автоматически исчезнет. Мы не рекомендуем использовать партнерские программы, которые вызывают у Вас сомнения. Наше отношение к некачественным файлам описано на следующих страницах: Мы: Мы не используем никаких партнерских программ. Мы также не распространяем никаких исполнямых файлов, это просто местечковый форум провайдера. Прошу указать ссылки на файлы, которые послужили причиной предупреждения. Яндекс: Пример некачественной страницы приводим: http://*****.ru/viewtopic.php?f=15&t=3503 . Мы: Не вижу на этой странице ни единого файла. Имеется в виду размещение ссылки на какой-то другой форум в первом сообщении этой темы? Тогда каким образом «нежелательные исполняемые файлы» вдруг превратились в «ссылки на другие ресурсы»? И как мы можем контролировать содержимое другого ресурса? Яндекс: Для того, чтобы избежать появления предупреждения возле Вашего сайта *****.ru, нет необходимости контролировать сторонние ресурсы, нужно лишь уберечь посетителей Вашего сайта от некачественного контента. Если пользователь перейдет с поисковой выдачи на Ваш сайт и после нескольких переходов загрузит обертки, то Ваш сайт будет отображаться с предупреждение в поисковой выдаче. Мы: Другими словами — если человек на форуме (блоге, личном сайте и т.п.) разместит ссылку на какой-то ресурс с которого можно скачать «нежелательные исполняемые файлы», то при поиске в яндексе этот сайт будет отображаться с предупреждением? Если да, то значит я могу разместить такую ссылку на любом популярном хостинге блогов типа blogspot или livejournal, дождаться пока кто-нибудь по ней пройдет и вы этот хостинг блогов тоже будете отображать с предупреждением? Если нет, то мне все еще непонятна причина предупреждения для нашего форума. Как и непонятно что, собственно, делать. Удалять темы? Проверять каждую ссылку которую выложил пользователь на предмет того можно ли там скачать что-то с обертками? Яндекс: Рекомендуем проверять содержимое страниц, с которых происходит большое количество переходов на внешние ресурсы с Вашего сайта. Описанная Вами ситуация может повлиять на вынесение вердикта об опасности сайта алгоритмом. Каких-либо подробностей работы наших алгоритмов, в том числе как, когда и каким именно образом системой были зафиксированы попытки использования неприемливых методов распространения дополнительного ПО, фиксируются ли они сейчас и т.п., мы не предоставляем. При разработке сайта рекомендуем ориентироваться на потребности пользователей, а не на поисковые системы. Проходит буквально несколько часов после последнего сообщения и мы получаем новое уведомление: Последняя проверка сайта 2015-09-07 не выявила ссылок на файлы с добавленным программным обеспечением. В результатах поиска сайт выводится без пометок. Что же произошло? В 2012 году какой-то пользователь создал тему со следующим содержанием: Единственная внешняя ссылка на странице это ссылка на торрент-трекер unionpeer. По ссылке открывается каталог игр, чтобы что-либо скачать необходимо сначала перейти в саму раздачу. То есть минимум 2 клика с нашего форума. Мы, мягко говоря, были ошарашены таким суровым подходом Яндекса к делу. Поразили также и двойные стандарты. Понятно, что на какой-нибудь livejournal.com вешать предупреждение они не станут, хотя там . А вот потрясти маленький форум, чтобы потом громко заявлять о своей борьбе с нежелательным ПО — это да. Казалось бы, инцидент исчерпан. В Яндексе поняли(?) абсурдность происходящего и сняли пометку с сайта. Но пришел декабрь и целых два новых уведомления: На страницах сайта *****.ru обнаружены ссылки на файлы или программы, к которым добавлено дополнительное программное обеспечение. Таким образом, вместе со скачанным файлом на компьютер посетителя могут быть установлены дополнительные программы — безопасные или сомнительные. В настоящий момент сайт выводится в результатах поиска с пометкой «Будьте осторожны при скачивании файлов с этого сайта».На страницах вашего сайта *****.ru обнаружен код, который может быть опасен для посетителей. Выполнение этого кода при посещении сайта может привести к нежелательным для пользователя последствиям: заражению компьютера вредоносными программами, несанкционированному использованию его ресурсов, порче или краже личных данных. В настоящий момент сайт выводится в результатах поиска с пометкой «Этот сайт может угрожать безопасности вашего компьютера». И снова проверка, и снова ничего. По virustotal единственное срабатывание как раз у Yandex Safebrowsing. Тут же в техподдержку начинают обращаться пользователи, которые используют Яндекс Браузер и/или Яндекс DNS, при попытке входа на форум им выдается вот такое предупреждение без возможности его обойти: К счастью, таких не много. Снова спрашиваем что происходит. Оказывается снова виновата злополучная тема с одной единственной ссылкой на unionpeer. Яндекс: При последней проверке Вашего сайта наш робот обнаружил доступные для скачивания некачественные программы, например, на странице http://*****.ru/viewtopic.php?f=15&t=3503. Эти программы могут содержать дополнительные компоненты, которые устанавливаются без ведома пользователя. По этой причине на странице поисковой выдачи отображается соответствующее предупреждение возле Вашего сайта. Подробнее об этом Вы можете прочитать в следующих материалах: Мы: В сервисе Яндекс Вебмастер конкретно указывается страница http://*****.ru/viewtopic.php?p=109830 с вердиктом «Bedep_payload», совсем не та, о которой вы говорите. Никаких некачественных программ на нашем сервере не хранится. Просьба указать прямые ссылки на некачественное ПО, хранящееся на нашем сервере, чтобы мы могли эти файлы удалить. Яндекс: Вердикт «Bedep_payload» в сервисе Яндекс.Вебмастер на вкладке «безопасность» был указан ошибочно. Пожалуйста, игнорируйте эту информацию. Мы проверили, в данном случае алгоритмы сработали корректно. Какую-либо подробную информацию о некачественном содержимом на пользовательских сайтах мы не предоставляем. Воспользуйтесь, пожалуйста, рекомендациями из нашего предыдущего письма. Мы: Вы мне эти ссылки уже давали и в них по-прежнему нет ничего, что объясняло бы ваши действия. Укажите пожалуйста прямую ссылку на наш форум, по которой скачивается «программа-обертка». По ссылке, данной в вашем первом ответе, ничего не скачивается. Яндекс: Подобной информации мы не предоставляем, сожалею. Попробуйте, пожалуйста, еще раз внимательно посмотреть на указанную нами ранее страницу и проанализировать все внешние ссылки на наличие некачественного содержимого. Я даже не знаю нужны ли тут какие-то комментарии. Ладно, черт с ним с ложным срабатыванием, за которое они даже не извинились. Но Яндекс, под предлогом борьбы с нежелательным ПО, проводит какую-то странную политику шантажа и цензуры, отказываясь объяснять причины. Это все вызывает недоумение и заставляет серьезно задуматься о направлении движения современного рунета, можно подумать одного Роскомнадзора нам мало. Для нас доверие к Яндексу подорвано полностью. Двойные стандарты и самодурство никогда никого еще до добра не доводили. В любом случае у нас не такой уж и большой выбор — выдать в техподдержку инструкции советовать абонентам удалить Яндекс Браузер и Яндекс DNS, если они имеют какие-либо проблемы с доступом к форуму, или же удалить указанную Яндексом тему и надеяться, что они не решат пометить что-нибудь еще в будущем. На данный момент сайт открывается без принудительной блокировки, предупреждение висит только в результатах поиска. Однако звонки от пользователей все еще продолжаются, вероятно что-то попало в кэш. P.S. Я намеренно заменил адрес форума на звездочки, чтобы исключить внезапный наплыв посещений. Желающие могут свободно нагуглить его по тексту из темы, дабы проверить все самостоятельно. UPD: пометку с сайта снова сняли, мы со своей стороны ничего не делали. Последняя проверка сайта 2015-12-28 не выявила ссылок на файлы с добавленным программным обеспечением. В результатах поиска сайт выводится без пометок. UPD2: со мной связался представитель Яндекса, с его разрешения публикую полный лог переписки в pdf — . TLDR — Сайт был помечен потому, что значительное количество посетителей форума попадало на тему со ссылкой на unionpeer. Люди переходили по ней и качали там программы-обертки. Яндекс постарается быть более аккуратным в тех случаях, когда это делается неумышленно, возможно будут помечать в выдаче конкретную страницу вместо всего сайта. Техподдержка, решив, что сайт не специально создан для распространения adware, будет предоставлять максимально полную информацию по обнаружению нежелательных для посетителей ссылок. Мы, в свою очередь, удалим данную конкретную ссылку с нашего форума. Да, они делают интернет безопаснее Да, но правила должны быть едины для всех Нет Спорный вопрос Проголосовало 1700 человек. Воздержалось 308 человек.