ОБЪЕКТИВНОСТЬ БЕЗ КОМПРОМИССОВОбъективность Без Компромиссов В Мире Компьютеров
НОВОСТИ САЙТАТЕСТИРУЕМ ВМЕСТЕИНТЕРНЕТ и ПОВСЯКО-РАЗНОСОФТ ПРОЕКТЫНАШИ ССЫЛКИ
ГЛАВНАЯ >> ИНТЕРНЕТ и ПО >> ПРОДВИЖЕНИЕ: Главный секрет поисковиков: от Google к Yandex

НАЗВАНИЕ СТАТЬИ: Главный секрет поисковиков: от Google к Yandex
АВТОРСТВО: Алексей Набережный
ДАТА НАПИСАНИЯ: Июнь 2005 года
ДАТА ПЕЧАТНОЙ ПУБЛИКАЦИИ: Август 2005 года( ISSN 0235-3520 )
ДАТА ПОСЛЕДНЕЙ РЕДАКЦИИ: Июнь 2005 года
Алекс Н.

СОДЕРЖАНИЕ

  • Вступление
  • Рейтинг поисковиков
  • Технология вмешательства
  • Операция "Завидный счастливчик"
  • Комментарии специалистов
  • Среднечастотники
  • Продолжение следует
  • Противоядие для поисковиков
  • Подведем итоги

    Специалисты, посвященные в тайну поисковых машин по долгу службы, редко ее выдают. Значительно чаще источником "утечки" становятся те, кто секрет угадывает случайно. Например, журналисты со своими шутками. Впрочем, давайте по порядку.
    Все началось с забавы прогрессивных американцев, установивших на многочисленных сайтах, форумах и блогах при упоминании слов "miserable failure" ( жалкий неудачник ) ссылки на страницу www.whitehouse.gov/president/gwbbio.html . Как результат биография Джорджа Буша стала прочно ассоциироваться с этой фразой в крупнейших поисковых системах ( например, www.google.com ).
    Этот эффект был назван Google bombing, и на его воплощение понадобилось много англоязычных единомышленников и более полутора месяцев работы. В свою очередь мы попробовали не только "изъясниться в любви" уже к нашему президенту, но и адаптировать эксперимент "miserable failure" для России с помощью соответствующих антонимов.
    Основная задача нашего проекта сводилась к изучению реакции российских поисковиков на внешние ссылки и выяснению возможности манипуляции "выдачей" поисковых систем со стороны одного человека с минимальным временем пребывания в Интернете. Первые же результаты потрясли нас своей отдачей, и рамки эксперимента были значительно расширены. Но давайте сначала разберемся, какими поисковыми машинами стоит манипулировать в Рунете.

    Рейтинг поисковиков
    Анализируя открытые данные независимых аккумуляторов статистики SpyLog ( www.spylog.ru ), HotLog ( www.hotlog.ru ) и LiveInternet ( www.liveinternet.ru ), можно построить ориентировочный рейтинг поисковых машин для России, который сейчас выглядит следующим образом:

    1. Yandex.ru - 50%
    2. Rambler.ru - 25%
    3. Google.ru - 17%
    4. Mail.ru - 4%
    5. Aport.ru - 2%
    6. Другие - 2%

    Разумеется, существует еще с десяток поисковых механизмов ( Yahoo, Altavista, Lycos и пр. ), но они все умещаются в пункт "Другие", т.е. входят в 2% процента запросов. А между тем общее число ежедневных запросов к поисковикам легко переваливает за отметку 20 млн., и львиная доля этого поиска приходится лишь на "Яндекс", Rambler, Google. Значит, будем ориентироваться на эти поисковые системы и анализировать именно их реакцию на появление определенного количества наших ссылок в Рунете.

    Технология вмешательства
    Весь процесс манипуляцией поисковой выдачи проходил по следующему алгоритму.
    Во-первых, на соответствующей странице авторского сайта www.alexnab.com появлялась безобидная ссылка, направленная к нужному сайту и с определенной фразой между тегами <a>фраза</a>.
    Во-вторых, спустя некоторое время, аналогичные ссылки с тегами <a>фраза</a> и [url]фраза[/url], расставлялись во многих открытых форумах ( и блогах также ). Здесь, первая пара html-команд нацелилась на работу в старых скриптах, а последние теги понимают большинство современных форумов и корректно превращают нужные фразы в необходимые ссылки.
    Разумеется, второй шаг алгоритма можно было выполнять "вручную", но мы предпочли автоматизировать его и использовали программу EspAnadir Clasific Pro RE ( www.espanadir.com/clasificrus ) для работы в форумах. Справедливости ради заметим, что иногда, с таким же успехом, мы использовали аналогичную программу Pantera ( www.gasaw.com/sw/pantera ), а детальный обзор и объективное сравнение ранних версий обоих программ можно найти на странице www.alexnab.com/02internet/index0204.htm.
    И, в-третьих, в завершении, успех мероприятия закреплялся с помощью одной из программ EspAnadir Gold Master RE ( www.espanadir.com/clasificrus ) или Page Promoter ( www.pagepromoter.ru/pagepromoter ), которые умеют рассылать нужную ссылку с краткой ключевой фразой на поисковые ресурсы. Кстати, сами программы мы тщательно сравнили по адресу www.alexnab.com/02internet/index0212.htm.
    Конечно, третий шаг можно было бы пропустить, поскольку в его результирующих последствиях существует опасность попадания "продвигаемой" странички в черный список поисковиков, но кто не рискует, тот не тестирует первыми двухъядерные процессоры :)

    Снимок рабочего экрана программы EspAnadir Clasific Pro RE

    Операция "Завидный счастливчик"
    В отличие от американской бомбы "miserable failure" для Джорджа Буша, в наших головах возникла более достойная ключевая фраза для российского лидера - "завидный счастливчик". То есть, наше словосочетание построено на антонимах к словам "жалкий неудачник" и больше подходит, на наш взгляд, к биографической страничке Владимира Путина - www.kremlin.ru/articles/V_Putin.shtml ( индекс цитирования ИЦ= 4500 ), что и должно стать, по замыслу, устойчивым синонимом для этого ресурса президента.
    Итак, 3 июня 2005 года, затратив 15-20 минут ( ! ) свободного Интернет времени, мы опубликовали ссылку на страницу www.kremlin.ru/articles/V_Putin.shtml, со словами "завидный счастливчик", примерно на 300-т низкорейтинговых ресурсах. И как показало время, этого оказалось достаточно, чтобы спустя два дня ожиданий поисковые механизмы Yandex и Google подчинились нашей воле.
    Теперь по запросу "завидный счастливчик" они покорно выдают биографию Путина на первом месте в результатах своей работы. Но заметим одну тонкость в результатах мировоззрения робота Google.
    Послание на форуме должно быть очень коротким и содержать только ключевую фразу и соответствующую ссылку, и ничего более. Иначе, вы собьете поисковую машину Google ( к Yandex это не относится ) с нужного курса, и она начнет выдавать на первых позициях ссылки на сами форумы, вместо странички нацеливания.
    Поймите, на странице Владимира Путина нет слов "завидный счастливчик". Более того, там нет никаких словообразований от этой ключевой фразы. А все что мы проделали - это навязали поисковику наше субъективное представление о биографии лидера, ничего более.
    Кстати, доступность подобных манипуляций поисковыми машинами может быть опасна для имиджа любого сайта и его владельца. Ведь ключевые фразы могут носить более негативный характер, а удачный сброс информации на телеэкраны о поисковых ассоциациях может привести к печальным последствиям.

    Снимок экрана Google от 4 июня 2005 года
    Снимок экрана Google от 20 июня 2005 года

    Снимок экрана Yandex от 4 июня 2005 года
    Снимок экрана Yandex от 6 июня 2005 года

    Комментарии специалистов
    Честно говоря, такой результативности от 15-ти минутного пребывания в Интернете мы не ожидали и, как следствие, безобидная шутка приобрела некоторую известность в кругах специалистов, которые любезно покритиковали наш оптимизм.
    Нам особенно стал интересен комментарий технического директора компании Яndex Ильи Сегаловича на Радио Свобода ( www.svoboda.org ) от 10 июня 2005 года:

    "..если в Рунете словосочетанию "завидный счастливчик" всегда соответствует ссылка "www.kremlin.ru" - с этим поисковик ничего поделать не может, поскольку "завидный счастливчик" вообще ни в каком другом сочетании больше не встречается в Рунете. Это своего рода псевдоним сайта, и если кому-то пришло в голову так устроить свою информацию, запретить этого нельзя. Поисковик отражает состояние Интернета, а в случае редких запросов это состояние может изменить один человек или скоординированное сообщество. Это - явление относится к "поисковому спаму": это - автоматическая генерация страниц и ссылок, которые создаются не для того чтобы с ними работал человек, а с единственной целью повысить рейтинг ресурса в поисковой выдаче. И очень непросто бывает отличить реальные ресурсы и автоматически сгенерированные. Это одна из наших важных задач".

    Очень приятно, что руководитель программистов Yandex заметил столь очевидные дырочки в работе своего детища, жаль только, Илья Сегалович немного слукавил.
    Во-первых, фразе "завидный счастливчик" всегда соответствовало большое количество сайтов, посвященных "завидному" жениху Максиму Галкину и супер популярной игре "О, счастливчик" с ведущим Дмитрием Дибровым.
    К сожалению, после операции "завидный счастливчик" выдача действительно координально изменилась, поскольку ключевая фраза не была оптимизирована, но в своих последующих экспериментах мы максимально избавились от побочных эффектов.
    Во-вторых, для большинства людей слово спам ассоциируется с навязчивым потоком писем, а господин Сегалович, как и другие, узнал о положительных результатах нашего эксперимента не из почтовых ящиков. Теоретически, наше мнение можно заметить только при определенном поисковом запросе человека, как и контекстную рекламу на Yandex и Google. Но давайте посмотрим что такое "поисковый спам" ( а не просто "спам" ) по версии открытой энциклопедии мирового масштаба ВикипедиЯ ( http://ru.wikipedia.org ).
    Мы не найдем в этой уважаемой энциклопедии описания нашего алгоритма действий в перечне видов поискового спама. Более того, мы действительно считаем, что биография Владимира Путина полностью адекватна фразе "завидный счастливчик", а значит, мы не лукавили, распространяя свое мнение в открытых форумах. К тому же, мы могли поддержать победное шествие нашего убеждения в Интернете даже без помощи автоматизирующего ПО - и "вручную" сообщить Миру о своих убеждениях. Так кто виноват, что мнение одиночек можно навязать всем? Мы или поисковая система?
    И, в-третьих, поисковая формула выдачи систем Rambler.ru и Aport.ru адекватно оценила связку из сайта Kremlin.ru и наших внешних ссылок, и сохранила курс на объективные критерии релевантности. Браво, Rambler.. Браво, Aport.ru .. Но мы предпочитаем пользоваться системами Google и Yandex :(

    Снимок скриншота выдачи Yandex, сделанный радиоведущим Александром Плющевым ( Эхо Москвы ) от 6 июня 2005 года

    Кстати, положительные результаты операции "Завидный счастливчик" прокомментировали не только специалисты компании Yandex, но и наши коллеги, занимающиеся продвижением и html-оптимизацией сайтов. Так Сергей Петренко ( www.searchengines.ru ) высказал справедливые утверждения, что запрос "завидный счастливчик" носит искусственный характер и его не запрашивают в природе хотя бы 10 раз в месяц.
    И здесь действительно трудно возразить, кроме нашего убеждения, что в некоторых ситуациях, пользователи с более редкими запросами могут быть на вес золота. Например, в торговле элитной недвижимостью или престижными автомобилями.
    Более того, сама фраза "miserable failure" тоже не являлась высокочастотным запросом в англоязычной части сети Интернет. А "заготовленный" низкочастотник на верхней позиции в авторитетных поисковых машинах всегда можно использовать в разных целях для политиков и бизнесменов.
    Но не будем фантазировать дальше, а перейдем к опытам, как со среднечастотными запросами, так и с очень популярными ключевыми фразами.

    Среднечастотники
    Борьба между поисковыми системами, которые заинтересованы в продаже контекстной рекламы, и владельцами сайтов, которые хотят видеть в поисковиках бесплатные машины для собственной популяризации, началась активно проявляться с 1994 года и продолжается до сих пор. Именно в 1994 году поисковая машина Infoseek догадалась интерактивно анализировать клиентский запрос и выдавать соответствующие коммерческие объявления рядом с результатами поиска. И пошло, поехало..
    Каждая поисковая система создавала свою секретную формулу анализа и оценки каждой страницы в Интернете и обеспечивала лучшую адекватность запросам со своей точки зрения. И как только смекалистые специалисты вычисляли корень уравнения успеха, программисты старались оперативно изменить формулу. Главное - ни дать ловкачам "протолкнуть" свои сайты в ответ на самые популярные запросы, особенно если дело касается коммерческих ресурсов. Но во все времена поисковики анализировали содержание ресурсов и старались лучшим образом реагировать на клиентские запросы в соответствии с накопленными данными.
    Разумеется, сценарии запросов к поисковикам часто повторяются и в среде специалистов выделяются следующие типы поисковых фраз: низкочастотники ( до 100 запросов в месяц ), среднечастотники ( до 1000 запросов в месяц ), и высокочастотники ( свыше 1000 запросов в месяц ). Причем, счетоводам стоит учитывать не только количество поисковых операций с ключевыми фразами на сервере Yandex, но и аналогичные запросы к другим системам. А сделать это объективно, ой как трудно.
    Можно на глазок предположить, что фразы "прогноз погоды" и "программа телепередач" являются высокочастотниками в российском Интернете, но лучше иметь в руках более серьезные аргументы. И помочь в этом могут периодические публичные отчеты разных компаний ( например, http://globalstats.hotlog.ru/cgi-bin/hotlog/sur.cgi или www.google.com/press/zeitgeist.html ), но самыми интересными для нас представляются оперативные отчеты запросов к Yandex ( http://wordstat.yandex.ru ) и Rambler ( http://adstat.rambler.ru/wrds ).

    Результаты операции "Правильная радиостанция" ( 14 июня 2005 года )
    Результаты операции "Выгодный хостинг" ( 14 июня 2005 года )

    Так, порывшись в списках запросов средней популярности, мы решили поставить сразу два забавных, но важных, эксперимента с различными переменными:
    1 ) переключим рупор демократии под названием "Эхо Москвы" ( ИЦ= 5500 ) на позывные радиостанции "Маяк 24" ( ИЦ = 2800 ), которые знакомы нам с самого детства.
    2 ) свяжем среднечастотный запрос "выгодный хостинг" с хостинг-провайдером нашей домашней страницы - Digdot.com , который обладает достаточно низким индексом цитирования ( ИЦ = 60 ).
    Задумано - сделано. Уже 14 июня поисковик Google стал выдавать на самых верхних местах ссылку на сайт радио "Маяк 24" по популярным поисковым фразам: "эфир Эхо Москвы" и "радиостанция Эхо Москвы". А лавры результатов коммерческого запроса "выгодный хостинг" надолго ушли к сайту Digdot.com , не смотря на жестокую борьбу многих оптимизаторов за это ключевое словосочетание.
    Удивительно, но наша технология манипуляций поисковиками опять на 100% сработала уже со среднечастотниками. Причем, эксперимент оказался актуален как для цели с высоким рейтингом, так и для ресурса с низким ИЦ. Что наглядно доказывает совместимость наших изысканий с любым сайтом. Но давайте продолжим иследования..

    Продолжение следует
    Это же надо, высокооплачиваемые специалисты годами подбирают нужные ключики к поисковым механизмам, а тут журналисты ногой открывают огромную дверь в светлое будущее многих владельцев сайтов, а по совместительству - читателей этой статьи.
    После удачного завершения работ над "полупопулярными" запросами в нас поселились наполеоновские планы. Так давайте по слову "Яндекс", которое российские пользователи ищут более чем 100000 раз в месяц, "переключим" всех на систему Google. "То-то будет весело" - как любил возглашать Корней Чуковский..
    Но чуда не случилось. Слишком уж много внешних ссылок подобным образом правильно указывают на любимую поисковую систему Яндекс. Как говорится "клин клином выбили" из наших манипуляций.
    А, может, Яндекс заранее побеспокоился о своем имидже и перекрыл возможность любых манипуляций над собой со стороны шутников-оптимизаторов? В любом случае, истина всегда где-то рядом, а между тем, изменить ситуацию никогда не поздно :)
    Параллельно наполеоновским желаниям, мы пытались прикрутить коммерческий высокочастотник "купить компьютер" к нашей страничке www.alexnab.com/index02.htm ( тИЦ=50 ) с подборкой авторских статей по тестированию "железа". И такое использование служебного положение сработало значительно лучше, но до выдачи на первой страничке мы не дотянули, а жаль.
    Разумеется, можно еще было "вручную" увеличить количество внешних ссылок "купить компьютер" в нужном направлении, и, в конце концов, достигнуть цели на определенном этапе. Но тогда мы повторили бы полуторамесячный эксперимент американцев, а мы хотели достичь максимального результата, потратив не более 20 минут своей работы в Интернете. Увы, с такими условиями эффективно управлять выдачей на высокочастотные запросы не получилось.
    Но многие специалисты оптимизации убеждены, что охота за высокочастотными запросами дает много "бесполезных" посетителей и ненужные объемы платного трафика. И, как следствие, наоборот, именно перехват среднечастотных ключевых фраз обеспечит любой сайт качественной аудиторией при меньших финансовых затратах. Поэтому, для web-мастеров, в отличие от сетевых юмористов, есть смысл внимательно взвесить желание увеличения своего трафика с помощью сверхпопулярных запросов.
    А пока в наших мыслях перенести практические испытания в англоязычную часть сети и рассмотреть возможность быстрой манипуляцией поисковыми машинами западных компаний. А вдруг и там один человек сможет агрессивно навязывать свои убеждения поисковикам.

    Противоядие для поисковиков
    Без сомнения, искусственный интеллект самых популярных поисковых алгоритмов получил тревожный сигнал и сам собой для них возник исторический вопрос: "Что делать?".
    Самым банальным вариантом представляется перехват определенных запросов. При таком раскладе, страна ни когда не узнает кто у нас "завидный счастливчик", но лавинообразный рост армии шутников это не остановит.
    Другим грубым противоядием представляется ситуация, когда программисты поисковой машины "вручную" занесут в специальный фильтр игнорирования все возможные открытые форумы, гостевые книги и авторские блоги. И такое мероприятие даст определенный эффект, но под "горячую руку" попадут невинные люди.
    Более того, поисковая система сама пострадает, ведь она распишется в собственном бессилии автоматизировать поиск честно, а заодно измениться релевантность поисковой выдачи, которая сейчас нас устраивает больше всего на серверах Yandex и Google.
    Не знаем, какой путь выберет Yandex, но владельцы поисковой машины Google пока не решились на какие-либо ручные вмешательства в отлаженный искусственный интеллект, игнорируя требования государственных чинов. Так может быть есть более мудрое решение?
    Самым очевидным способом достойного выхода из сложившейся ситуации является оптимизация поискового алгоритма. Ведь, перехитрив владельцев web-сайтов байками про важность контента сайтов, создатели Yandex и Google стали переоценивать содержание внешних ссылок, не обращая внимание на само наполнение ресурсов.
    Так, если "чужой" человек скажет поисковику триста раз, что какой-нибудь сайт Альфа содержит тонны интересных фотографий и музыкальных файлов, поисковая машина в это поверит и будет сама уверять в этом всех окружающих. Так, может, стоит заглянуть на сайт Альфа и убедиться, что его содержание не противоречит ссылкам с внешних источников?
    Получается, главная тайна популярных поисковиков и заключается в эксплуатации чужого человеческого мнения. Но раз этот порок научились эксплуатировать пользователи с воображением, так пара алгоритмам начинать жить "своим умом".

    Подведем итоги
    Торопитесь прочитать выводы? Но главная тайна самых популярных поисковых машин была выдана выше по тексту, а здесь, мы хотим перечислить основные следствия из нее. Итак,

    1. На данном этапе развития популярные поисковые машины легко поддаются дрессировке со стороны.
    2. Даже одному человеку можно быстро и эффективно манипулировать выдачей на низкочастотные и среднечастотные запросы. И как следствие, вполне реально захватить первую поисковую страничку по названиям компаний и содержанию их слоганов и основных идей, что может привести к атакам на имидж любых сайтов в будущем.
    3. Неизвестно, кто первый догадался основательно манипулировать поисковыми системами по нашей низкозатратной технологии, но, наверняка, обнаруженные дырочки уже давно работают в сети и преследуют свои конкретные цели.
    4. Естественная динамика развития рынка контекстной рекламы на поисковых машинах Yandex, Google, Mail нарушается. А как иначе? Зачем платить деньги за перехват клиента с поисковой фразой "Купить квартиру в Перово", если это можно сделать бесплатно по нашей технологии?

    В завершении статьи, нам хочется принести извинения обычным пользователям поисковых систем за возможные неудобства, которые могли заметить некоторую нерелевантность результатов поиска по своим запросам, совпадающих с нашими тестовыми фразами. Мы прекратили поддержку операций "Завидный счастливчик", "Правильная радиостанция", "Выгодный хостинг", "Яндекс любит Google" и "Просветись перед покупкой" и искренне надеемся, что следы нашей активной манипуляцией поисковыми машинами постепенно нивелируются, но скриншоты из серии "до, и после" мы сохраним для потомков.

    >> НАВЕРХ СТРАНИЦЫ <<