Антиспам-алгоритм Пингвин. Результаты анализа сайтов

Дата 24 апреля 2012 запомнилась многим оптимизаторам и владельцам сайтов, которые увидели в статистике резкое падение трафика на 30-70%. Это произошло в результате нового антиспам-алгоритма Google с официальным названием “Пингвин”, о котором Мэтт Каттс сообщил на блоге Google для вебмастеров.

С тех пор прошло уже достаточно времени, чтобы в сети появились аналитические данные, успешные и неуспешные кейсы, ответы на многие вопросы от официальных представителей поисковой системы Google. Также этого времени хватило для проведения коллективного эксперимента, в котором приняли участие более 100 человек, добавив для анализа порядка 150 сайтов.

Что произошло?

Не будем описывать подробно проведение эксперимента. Отметим лишь, что все сайты были проверены вручную на попадание именно под “Пингвина” (анализировались отчеты, к которым был предоставлен доступ), проверены различные метрики сайтов и собрана статистика по анкор-листам.

Что касается контента, четких закономерностей выявлено не было. Под Пингвин попадали сайты и с рекламой и без, со страницей контактов и без неё, с большим и малым seo-текстом на главной странице.

С ссылками немного интересней. Мы получили примерно такую же картину, как и у западных экспертов, а именно — большое количество прямых вхождений чаще встречается у той группы сайтов, которая пострадала от “Пингвина” (они имеют больше 58% прямых ключей в анкорах). Получилась следующая статистика:

Средние значения для пострадавших сайтов

11% ссылок с адресом сайта в виде http://domain.com/,
15% ссылок с названием бренда в виде имени компании или имени домена,
58% ссылок с продвигаемыми ключевыми словами.
14% nofollow-ссылок от всей массы,

Средние значения для сайтов, получивших плюс после 24 апреля

22% ссылок с http,
26% ссылок с названием бренда,
23% ссылок с продвигаемыми ключевыми фразами.
30% nofollow-ссылок,

Из тех методов, которые были использованы для вывода сайтов из-под фильтр, помогли лишь 301-ые постраничные редиректы на другой домен (с тем же именем, но в другой доменной зоне). Все, кто использовал редирект, через время были склеены и заняли в выдаче прежние позиции.

С помощью манипуляции с анкорами ссылок выйти из-под фильтра не удалось никому (судя по тем данным, к которым у меня имеется доступ). Возможно, 2 месяца недостаточно для снятия этого фильтра на автомате. В сети имеется лишь один кейс (для сайта WMPU.org), где сайт вышел из-под Пингвина благодаря очень крапотливой работе с внешними ссылками.

На конференции SMX Advanced в Сиэтле Мэтт Каттс в интервью намекнул, что в ближайшее время в панели для вебмастеров будет иметься возможность управлять работой внешних ссылок (в плане отключения их влияния на сайт). Работа с ссылками представляется в будущем весьма кропотливой, уже сейчас появилось множество сервисов по удалению внешних ссылок (естественно, платных, в противовес сервисам размещения).

Поиск проблем

В ходе эксперимента стало понятно, что некоторые вебмастера не сумели правильно идентифицировать, какой именно фильтр наложил Google на их сайт. Все считали, что это “Пингвин”, однако, в последнее время у гугла было множество глобальных обновлений. Вот некоторые из них:

19 янв — Page Layout Algorythm (анализируется полезность контента на первом экране сайта, доступном без прокрутки, сайты с обильной рекламой на первом экране ранжируются ниже);

27 фев — Венеция (Google теперь учитывает региональность пользователя и для органической выдачи);

16 апр — Глюк с припаркованными доменами (в начале апреля в Google была техническая неполадка, благодаря которой многие сайты повылетали из топа, но через несколько дней, после исправления проблемы, были возвращены);

19 апр — Обновление алгоритма “Панда” (постоянное награждение уникальных сайтов);

24 апр — Антиспам-алгоритм “Пингвин” (наказываются сайты, использующие спам-методы для накрутки своих позиций);

27 апр — Очередной апдейт алгоритма “Панда”, который также происходил позже в июне.

И несколько более поздних обновлений “Панды” и “Пингвина”.

Чтобы правильно отследить проблему, необходимо сохранять историю изменения позиций сайта по разным запросам, по которым пользователи находят ресурс. При анализе данных сопоставлять даты и целевые страницы, которые потеряли в трафике.

Например, по следующему графику (сгруппированному по неделям) видно, что “Пингвин” здесь причастен, но до него были и другие проблемы, скорей всего фильтр комплексный.

На приведенном ниже графике видно снижение посещаемости из Google, но проблема явно не в “Пингвине”.

Четкое определение “Пингвина” видно, когда есть резкий скачок 24-25 апреля.

Для поиска причины фильтра хорошо использовать Google Analytics — выбрать даты после 25 апреля и сравнить данные с датами до 24 апреля, зайти в отчеты по ключевым словам и вырать дополнительный параметр “Источники трафика — Целевая страница”, а также выбрать сортировку по абсолютному изменению параметра (посещаемости). Таким образом, мы получим отчеты, в которых видны самые пострадавшие запросы и соответствующие им целевые страницы.

Как показывает практика, если сайт просел по высокочастотным запросам, по которым вы продвигаете главную страницу, или по среднечастотным для основных разделов, то проблема скорей всего в ссылках. Если же сайт просел по многим среднечастотным и низкочастотным запросам, то в первую очередь проблему необходимо искать в контенте и исходящих с сайта ссылках.

Несколько наглядных примеров

1. Входящие ссылки

Из статистики посещаемости видно, что сайт пострадал от “Пингвина”.

Анализ отчетов по ключевым словам дает результаты, что сайт просел преимущественно по запросу “работа в минске”. Это ВЧ запрос для сайта, поэтому, проблема скорей всего в ссылках.

Смотрим анкор-лист сайта с помощью OpenSiteExplorer.

Видим, что первое место в анкор-листе занимает продвигаемый нами запрос. Видимо, проблема в этом. Чтобы убедиться в этой гипотезе, проверим анкор-листы других сайтов в ТОП3. Получим следующую картину.

У всех сайтов на первом месте стоит анкор в виде адреса сайта или без анкора вообще (например, ссылка-изображение).

2. Дубли контента

Сайт потерял низкочастотный трафик.

Если смотреть, какие именно запросы пострадали больше всего, то получим следующую картину:

При проверке сайта на дубли в Google видим, что 93% страниц в индексе занимают полные или частичные дубли.

Используя сервис WebTaker.com находим те страницы, которые попали в дополнительный индекс (незначимые для гугла). Дальше анализируем и делаем выводы.

3. Исходящие ссылки

Сайт просел по низкочастотным запросам и в основном, для одних и тех же страниц.

При заходе именно на эти страницы, которые просели по запросам, наблюдаем, что контент содержит внешние (часто нетематические) ссылки.

Резюме

Для решения проблемы с Пингвином, прежде всего, следует прочитать Руководство Google для вебмастеров, там находится много подсказок.

Большинство успешных кейсов, которые приводят западные специалисты, связаны с улучшением сайта. Поэтому, если настраиваться на долгосрочную перспективу, то лучше всего будет работать улучшение сайта (прежде всего в плане юзабилити).

Но также обратите внимание на приведенные выше примеры. Здесь были приведены общие результаты, в следующих ближайших статьях будут даны более конкретные описания веб-спама и рекомендации по улучшению сайта.

P.S. Читайте также:

8p_devaka_2012.pdf (2,5 Мб) — Презентация доклада на 8p 2012 “Без паники! Это всего лишь Пингвин. Последний антиспам-алгоритм Google” (см. также на SlideShare).

Gyongyi-SpamNotFor.pdf (135 Кб) — Статья 2005-го года профессора стэнфордского университета о проблеме веб-спама и его признаках: “Spam: It’s Not for Inboxes Anymore”.

• Комментарии