Google Safe Browsing

В конце 2005 года Google представила сервис Safe Browsing в виде расширения для Firefox (на тот момент последней версией был 1.5). Это расширение предупреждало пользователей при посещении фишинговых страниц^[6].

В начале 2006 года Google начала отображать предупреждения в собственных результатах поиска и опубликовала списки опасных сайтов через Google Safe Browsing API для интеграции в такие приложения, как Firefox, Google Desktop и Google Toolbar. Firefox начиная со 2-й версии стал использовать эти списки по умолчанию для защиты от фишинга, а с 3-й версии — для защиты от вредоносного ПО. В ноябре аналогичные предупреждения о вредоносном ПО были внедрены и в Google Webmaster Tools, чтобы администраторы сайтов могли получать уведомления об инфекциях.

В марте 2007 года MySpace столкнулся с крупной фишинговой атакой: по оценкам Google, 95 % всех новых фишинговых страниц были нацелены на MySpace. Атака использовала как мошеннические письма и сайты, так и взломанные профили MySpace. Google помог бороться с угрозой, предоставив свой фишинговый список MySpace. Также Google провела исследование распространения вредоносного ПО в Интернете^[7]. По его данным, около 0,1 % всех веб-страниц распространяли вредоносное ПО, а его хостинг в первую очередь осуществлялся в Китае, США, Германии и России.

Google также усовершенствовала оповещения о вредоносном ПО в Google Webmaster Tools, добавила возможность подачи апелляций для очищенных сайтов и 18 июня 2007 года публично открыла доступ к Google Safe Browsing API.

С 6 января 2008 года в список фишинговых сайтов была внедрена «доменная компрессия», позволившая сократить число индивидуальных записей с 206 000 до 13 000 URL. С 17 февраля 2008 года Google стала автоматически пересканировать найденные вредоносные сайты для проверки необходимости их дальнейшей блокировки^[8]. К маю 2008 года количество вредоносных URL уменьшилось с 225 000 до 110 000, а средний срок пребывания сайта в списке снизился с 90 до 15–20 дней.

В мае 2008 года Google также запустила диагностическую страницу для вредоносных сайтов, предоставляющую информацию о результатах сканирования. Из браузера Firefox и из результатов поиска можно было перейти на эти страницы. В июне Google опубликовала исследование своей системы обнаружения вредоносных сайтов^[9], где отмечалось, что 2 % опасных страниц распространяли вредоносное ПО через рекламные сети, а основной источник вредоносного ПО — серверы в Китае.

С 2 сентября 2008 года Safe Browsing используется и в браузере Google Chrome. С 13 ноября 2008 года поддержку получила и Safari (версия 3.2).

Весной и летом 2009 года кампании Gumblar и Martuz заразили более 330 000 сайтов, вошедших в список Safe Browsing. Google опубликовала статистику, по которой число опасных URL за год более чем удвоилось, но число предупреждений в результатах поиска уменьшилось. В октябре после запуска функции 'Malwaredetails' в Google Webmaster Tools стало возможно видеть детальную информацию о заражении, что помогло сократить процент реинфекций.

Весной 2010 года Google опубликовала описание системы обнаружения фишинга^[10]: обучение на примерах позволило алгоритмам идентифицировать до 90 % фишинговых страниц с одним ложным срабатыванием на 10 000 сайтов. Анализируются URL, структура страницы, ключевые слова, гиперссылки, PageRank и параметры хоста.

В сентябре 2010 года появились предупреждения для администраторов автономных систем о вредоносном ПО на их сетях, а в октябре — и о фишинговых URL. Предупреждения направляются по электронной почте в виде текстовых или XML-сообщений.

Кроме того, в 2010 году была выпущена версия 2 API Safe Browsing — с оптимизированными обновлениями и меньшим потреблением трафика.

В мае 2011 года Google получила премию AusCERT за отправку оповещений администраторам автономных систем^[11]. AusCERT — австралийская команда реагирования на компьютерные инциденты.

С июня 2011 года (версия 12 Chrome) Safe Browsing в Chrome получила дополнительную защиту загрузок: браузер проверяет загружаемые исполняемые файлы и предупреждает, если они есть в списке вредоносных URL. Появилась новая Lookup API для сервисов с небольшим числом проверяемых URL (до 100 000 в день); она передаёт URL на сервер Google для актуального статуса. С декабря 2011 года поддержка первой версии API полностью прекращена.

В июле 2011 года Google также опубликовала отчёт о техниках ухода от обнаружения вредоносного ПО^[12], где отмечалось распространение социальной инженерии, быструю смену эксплойтов и рост использования маскировки (cloaking).

В октябре 2011 года с версией 15 Chrome был запущен алгоритм Client Side Phishing Detection, использующий эвристические модели для анализа страниц непосредственно в браузере^[13]. Это привело к резкому увеличению числа предупреждений пользователям. Администраторы сетей также стали получать сообщения о вредоносных доменах, распространяющих вредоносное ПО через другие скомпрометированные сайты.

С 29 января 2012 года Google начала удалять неактивные домены из перечня вредоносных сайтов: было удалено более 130 000 устаревших доменов. Однако средний срок пребывания сайта в списке увеличился с 20 до 30 дней, что Google объяснила усложнением идентификации/очистки сайтов из-за сложных эксплойт-китов.

В феврале 2012 года (версия 17 Chrome) загрузочная защита была доработана: загружаемые исполняемые файлы сверяются со списком доверенных программ и разработчиков, а неизвестные передачи сопровождаются передачей метаданных для анализа в Google, и результат анализа определяет наличие предупреждения.

Весной сервис стал периодически пересканировать заражённые сайты, что повысило статистику реинфекций. Ранее сайты не удалялись автоматически из блокировки.

В июне 2012 года Google сообщила, что:

• Safe Browsing защищает около 600 млн пользователей Chrome, Firefox и Safari;
• ежедневно обнаруживается около 9500 новых опасных сайтов;
• 12–14 млн поисковых запросов ежедневно сопровождаются предупреждением;
• примерно 300 000 загрузок в Chrome ежедневно вызывают предупреждение;
• ежедневно тысячи оповещений рассылаются администраторам сетей и сайтов.

Также отмечались тенденции: сокращение времени жизни фишинговых ссылок (часто менее часа); рост целевых атак (spear phishing); фишинг стал глобальным феноменом; множество поддельных сайтов распространяет вредоносное ПО через социальную инженерию; растёт число «атакующих сайтов», которые используют подстановку хостинга, динамический DNS и автоматическую генерацию доменов.

Летом 2012 года крупная кампания заразила более 106 000 сайтов, перенаправляя пользователей на страницы с Blackhole exploit kit. Более 90 млн пользователей в неделю получали предупреждения, а Google выдавал более 330 млн предупреждений о вредоносных сайтах за неделю. Общее число заблокированных сайтов выросло до 350 000.

В сентябре Google отказалась от одной из сторонних фишинговых лент данных из-за слишком большого числа ложных срабатываний.

В марте 2013 появился сервис помощи для заражённых сайтов, ориентированный на администраторов. Согласно исследованию StopBadware и Commtouch (февраль 2012), около четверти когда-либо взломанных сайтов остаётся инфицированной^[14]. Google с помощью нового сервиса стремилась снизить этот показатель.

В апреле 2013 года Google начала классифицировать расширения Chrome, нарушающие правила (например, устанавливающиеся без ведома пользователя), как вредоносные — они блокируются на уровне Safe Browsing. В том же месяце кампания с эксплойт-китом Red Kit увеличила число предупреждений на 32 млн.

В июне стартовал Отчёт о прозрачности Safe Browsing, где публикуются регулярные статистики по предупреждениям, географии вредоносных сайтов и проценту реинфекций. В том же месяце кампания, использовавшая уязвимости в Java и Acrobat Reader, заразила более 7500 сайтов: за неделю 28,6 млн пользователей API Safe Browsing получили предупреждение.

В январе 2014 функция защиты загрузок в Chrome (версия 32) стала более строгой: игнорировать предупреждения стало невозможно, кроме обхода через менеджер загрузок. В августе 2014 защита расширена на нежелательное ПО (в т. ч. изменяющее домашнюю страницу Chrome). Также летом были изменены страницы предупреждения Chrome по результатам совместного с Карнеги-Меллон исследования: в среднем 1/5 пользователей всё же игнорировали предупреждение о вредоносном ПО^[15].

Google пополняет списки опасных ссылок и веб-страниц, которые включаются в Safe Browsing, тремя основными способами:

• Анализ новых страниц по данным веб-индекса Google с помощью алгоритмов и автоматических ботов. Извлечённые гиперссылки проверяются и сохраняются. Часть индекса регулярно сканируют службы Safe Browsing^[16].
• В браузере Google Chrome реализовано эвристическое клиентское обнаружение фишинга — страницы анализируются «на лету», подозрительные адреса и информация передаются на серверы Safe Browsing для дальнейшего анализа.
• Safe Browsing также получает данные из внешних фидов партнёров, применяя к ним строгие критерии.
• Любой пользователь может вручную подать жалобу на опасную страницу через специальную веб-форму (см. ссылки).

Для анализа контента используются виртуальные контейнеры и статистические модели. Классифицированные страницы попадают в «чёрный список» Safe Browsing, а владельцы уведомляются автоматически, если их сайт зарегистрирован в Google Webmaster Tools. В противном случае Google пытается связаться через e-mail типа «administratorexample.com» (где example.com — домен сайта)^[17]. Также уведомляются администраторы подсетей AS.

Safe Browsing в Chrome с версии 12 (июнь 2011) обеспечивает дополнительную проверку файлов перед загрузкой. Этот механизм называется CAMP (Content-Agnostic Malware Protection)^[18]. URL каждой загрузки сверяется с «чёрным списком» — опасные загрузки блокируются и сопровождаются предупреждением. Для часто скачиваемых и надёжных программ предупреждения не выводятся. Если файл неизвестен Safe Browsing, но и не относится к заведомо безопасным, появляется предупреждение о потенциальной опасности^[19]. Также учитываются SSL-сертификаты и хэши файлов. C версии 32 Chrome (январь 2014) игнорировать предупреждение невозможно (кроме обхода через менеджер закачек)^[20]. Аналогичной загрузочной защиты в Safari и Firefox нет^[21].

Для ручной проверки сайта в базе данных Google Safe Browsing достаточно добавить к адресу следующий запрос: http://www.google.com/safebrowsing/diagnostic?site=адрес_сайта. В результате отобразится диагностическая страница с подробностями по обнаруженным угрозам. Владельцы зарегистрированных сайтов в Google Webmaster Tools получают детальные отчёты по URL-адресам угроз^[22].

В диагностике различают «заражённые сайты» (с вредоносным контентом от внешних источников, например через рекламные сети или после взлома) и «атакующие сайты» (целенаправленно распространяющие вредоносное ПО).

Google утверждает, что через функции Safe Browsing в браузерах не может узнать, какие страницы посещал конкретный пользователь.

• По данным Google, в июне 2012 года сервисом Google Safe Browsing (прямо или косвенно) пользовались около 600 млн человек.
• В этот же период, по информации Google, ежедневно выявлялось примерно 9500 опасных сайтов^[23].
• Тесты NSS Labs за октябрь-ноябрь 2012 года показали, что Google Safe Browsing тогда блокировал примерно 92 % всех фишинговых сайтов^[24] и 70 % всех вредоносных загрузок^[25].

Google регулярно публикует свежие данные по Safe Browsing в отчёте о прозрачности.

Близкие по функциям сервисы — SmartScreen-фильтр компании Microsoft, используемый в Internet Explorer (начиная с 8-й версии) и Windows 8 для блокировки опасных сайтов и загрузок^[26], Norton Safe Web от Symantec и McAfee SiteAdvisor от McAfee.