Пессимизм оптимизаторов

Ударим баном по клоакингу

До недавнего времени я, как и большинство обитателей Интернета, жил, практически ничего не зная о поисковой оптимизации. Посетителей, приходивших на мои сайты с Яндекса и Рамблера, я воспринимал как приятное явление природы, скажем, благодатный дождик грибной осенью. Но летом этого года, когда я загорал на морях, случилось страшное - несколько наших проектов выкинули из Яндекса (на профессиональном жаргоне это называется ``забанили'' уж не знаю, от какого англицкого слова).

На мой панический вопль ``За что?!!'' последовал суровый ответ модератора Яндекса, который звучал так: ``Указанные сайты запрещены к индексированию за поисковый спам. Повсеместное и широкое применение дорвей-редиректов с использованием поисковых запросов однозначно воспринимается нами как вмешательство в работу поискового механизма. Отмечено также использование клоакинговых технологий.''

Я примерно понимал, что именно Яндексу у нас не понравилось. Но поскольку я в самом этом ответе не понял ровно ничего - он содержал слишком много незнакомых мне слов, а ситуацию нужно было исправлять, причем срочно (наша посещаемость упала в почти в три раза, и клиенты начали потихоньку проявлять озабоченность.) пришлось почитать всякие тексты и обратиться за консультациями к специалистам.

Вы, конечно, можете спросить - откуда у нас взялись эти самые страшные дорвей-редиректы и клоакинговые (фу, какая гадость) технологии, если мы были такие невинные овечки? Но нас здесь оправдывает то, что

- мы делали это в те времена, когда о поисковом спаме никто (включая Яндекс) понятия не имел

- в каком-то смысле у нас не было другого выхода, что в беседах частично признали и представители Яндекса

Интересующихся отсылаю к истории вопроса на http://akop.ru/personal/58110

Более или менее разобравшись в вопросе с помощью общедоступных текстов и добрых людей, мне удалось достаточно быстро разрешить ситуацию и устранить ее последствия. Но в процессе этого меня заинтересовал сама область SEO (Search Engines Optimization), причем как в прагматическом смысле (как ресурс для увеличения аудитории своих проектов), так и теоретическом - как социально-экономический феномен.

Так что на конференцию ``Поисковая оптимизация и продвижение сайтов'' (www.optimizationru) проходившую 13-14 ноября я шел уже относительно подготовленный и с вполне сформировавшейся гражданской позицией протеста против диктатуры крупных поисковых сервисов.

Тем не менее два дня докладов и дебатов существенно скорректировали мою картину Интернета вообще и как среды существования интернет-бизнесов в частности.

Как выяснилось, я не даже не подозревал о реальных масштабах деятельности по SEO, кипящих там страстях и подковерной возне. Более того - получили свое объяснение многие видимые странности и нелогичности в организации информации в Сети, прояснились бизнес-модели ряда проектов, относительно которых мне было непонятно - как и зачем они живут.

И эта статья - это как раз изложение наиболее сильных субъективных впечатлений.

А за фактографической информацией лучше обратиться к первоисточнику - веб-логу конференции http://www.searchengines.ru/conference .

Масштабы

Объем российского рынка поисковой оптимизации был оценен примерно в миллион долларов в год. Много это или мало? Не знаю. Гораздо интересней другое - что, оказывается, уже сейчас по большинству коммерчески интересных запросов весь TOP10 выдачи поисковых серверов уже оптимизирован, более того, там идет активная борьба оптимизаторов.

В отличии от всеобщего ``забаннеривания'' Интернета, этот факт не очень заметен неподготовленному взгляду. Но тем не менее, никакому свежепоявившемуся некоммерческому сайту ``про это'', каким бы он хорошим и информативным не был, не светит появиться в первых позициях выдачи поисковых серверов, если ``это'' представляет коммерческий интерес (разве что случайно, когда правила поменялись, а оптимизаторы это еще не отследили)..

Сейчас ``это'' в полной мере относится к сфере достаточно дорогих товаров розничного спроса, успешно продающихся через Интернет (бытовая, видео-аудиотехника, компьютеры и др.), но можно прогнозировать, что по мере продвижения разных бизнесов в Интернет спектр коммерчески интересных запросов будет расширяться и конкуренция по ним возрастать.

Это, в общем, естественно и ожидаемо - что дефицитный ресурс (место в выдаче поисковых серверов) достанется наиболее платежеспособным, как бы ни пытались этому противостоять поисковые сервера. Хотя немножко обидно, что Интернет утрачивает последние черты того всеобщего анархического братства, каким он был в начале 90-тых.

Что есть поисковая оптимизация

Поисковая оптимизация - комплекс мер, направленных на улучшение видимости сайта поисковыми серверами, т.е. выведение его в первые позиции выдачи. Сразу заметим, что не бывает оптимизации вообще, а бывает оптимизация относительно некоторого перечня запросов, хотя некоторые меру по оптимизации способствуют повышению позиций по всем запросам, сколько-нибудь соответствующим тематике сайта.

Позиция сайта в выдаче (релевантность) зависит от следующих факторов

1. Соответствие текста страницы запросус

2. Соответствие заголовков страницы запросу

3. ``Авторитетность'' страницы - количество и качество ссылок, ведущих на эту страницу

4. Соответствие запросу текстов этих ссылок

5. И наконец, предварительной информации, которую поисковый сервер имеет про сайт (обычно - вхождение в каталог).

В принципе это все известные вещи, хотя лично для меня было новостью реальная значимость факторов 3-5 во всех без исключения современных поисковиках.

Все эти критерии релевантности вполне логичны. И магистральный путь развития поисковых сервисов - это приближение оценок релевантности к человеческим. Поэтому поисковики декларируют, что для них хороши те же сайты, которые хороши и для пользователя - с хорошей прозрачной структурой, правильно оформленными текстами, и высоким авторитетом. И что не нужно никакой специальной деятельности по оптимизации - нужно просто делать хорошие сайты.

Правда, тут они в значительной степени выдают желаемое за действительное, поскольку роботы поискового сервера, индексирующие страницы, воспринимаю только тексты и простейшую HTML-разметку. И в этом смысле их можно уподобить пользователю с текстовым браузером (чего-то типа Linx), не имеющему клавиатуры (пользующемуся только мышкой). И если вам удастся сделать сайт, и информативный и удобный для такого пользователя, то проиндексирован он тоже будет хорошо (с точностью до факторов 3-5).

Правда, такая оптимизация часто вступает в противоречие с эстетическими требованиями и графической концепцией сайта.

А еще она иногда вступает в противоречие со здравым смыслом. Потому что, скажем, некоторая часть полезных запросов формулируется неграмотно. И приходится сильно выкручиваться, чтобы обеспечить релевантность им. Ну что, скажите, делать, если неграмотный запрос ``пластиковые трубы'' встречается чаще, чем грамотный ``полиэтиленовые трубы''? Приходится писать что-то типа ``Полиэтиленовые трубы (иногда не совсем грамотно именуемые Пластиковые трубы)''. И т.д.

Поэтому все-таки оптимизация, как отдельный комплекс мер, как правило, необходима, если вы хотите получить приличные результаты.

Соответственно, мероприятия по поисковой оптимизации делятся на два класса:

- действия, выполняемые ``внутри сайта'' (оптимизация структуры, текстов, оформления)

- действия, выполняемые снаружи (простановка ссылок извне, регистрация сайта в каталогах, создание дополнительных входных страниц)

Но проектировать и выполнять эти мероприятия нужно очень грамотно и аккуратно, потому что как только мы пытаемся активно ``влиять на работу поискового механизма'', мы попадаем в зону риска.

Нужно также понимать, что оптимизация не является однократным мероприятием -видимостью сайта нужно периодически контролировать. Потому как

- ваш сайт развивается

- меняются алгоритмы поисковых систем

- в сети появляются новые сайты

- да и старые конкуренты не дремлют...

Кто такие поисковые оптимизаторы

Существует каста людей, которые посвятили себя изучению тонкостей логики поисковиков, отслеживанию изменений ситуации и соответственно, консультированию клиентов.

Если проводить аналогии, их можно уподобить политическим лоббистам, представляющим интересы своих клиентов перед поисковыми машинами.

B SEO в этом смысл есть такая же тонкая материя как GR (Government Relationships) - точно так же оптимизаторы не могут давать никаких гарантий, и последствия неудачных действий лоббиста (читай оптимизатора) могут быть очень тяжелыми. Власть, которой покажется, что ей манипулируют, может отреагировать неадекватно (или наоборот, адекватно :)

Где водятся оптимизаторы? Учитывая приведенное выше разделение мероприятий на внешние и внутренние, естественными ``гнездами'' оптимизаторов являются:

- сайт-девелоперские конторы (поскольку сайты лучше сразу разрабатывать оптимизированными, чем потом переделывать),

- рекламные Интернет-агенства (поскольку комплекс внешних мер по оптимизации близок по сути к проведению рекламных компаний, особенно компаний контекстной рекламы).

- ну, и естественно, Интернет-агентства полного цикла

Существует какое-то количество независимых консультантов, которые могут проанализировать ситуацию и подсказать комплекс мер, но в этом случае, как правило, выполнение этих мероприятий вам придется организовывать самим.

Новостью для меня явилось то, что практически все крупные Интернет-агенства уже обзавелись штатными оптимизаторами. Т.е. из экзотической и маргинальной деятельности оптимизация превращается в деятельность промышленную.

Контекстная реклама

К теме поисковой оптимизации тесно примыкает проблематика контекстной рекламы (т.е платного сервиса поисковых систем по демонстрации пользовательских объявлений в результатах запросов в отличии от условно-бесплатного показа результатов поиска).

Дело в том, что техника анализа запросов и определения ключевых слов практически одинакова как для поисковой оптимизации, так и для контекстной рекламы. Поэтому планирование и проведение контекстных рекламных компаний является вторым (а возможно, уже и первым) направлением деятельности оптимизаторов.

Поэтому значительное количество докладов на конференции было посвящено этому вопросу.

На нашем рынке сейчас представлены две системы контекстной рекламы - Бегун (русская Overture) и Яндекс-Директ, который буквально за день до конференции также перешел на модель PPC (Pay Per Click), почти полностью уподобившись Google-вскому сервису AdWords.

PPC - модель Интернет-рекламы, в которой оплата взимается не за показ объявления, а за клик, причем по аукционной системе, при которой положение объявления в списке зависит от цены, назначенной за клик рекламодателем.

Меня приятно удивил размер рынка контекстной рекламы. По оценкам, он достигает сейчас 450 тысяч в месяц, из которых 150 приходится на Бегун, и 250 - на Яндекс. Растем!

Что такое хорошо и что такое плохо

Ну, а теперь собственно, об основной интриге как конференции, так и вообще проблематики SEO.

Дело в том, что не существует четких критериев, какие меря оптимизации считаются допустимыми, а какие нет.

Скажем, чтобы не портить эстетику своего сайта заголовками <h1>, и иже с ними, делаете вы вполне невинную вещь - при генерации страницы определяет, кто к вам пришел - робот или человек. И если пришел робот, вы подставляете ему облегченную версию страницы, где никакой графики, использована простейшая разметка и др.

Оказывается, это называется гнусным словом ``клоакинг'' и карается усекновением главы (то есть баном) без суда и следствия. Потому что обычно этот прием используется для подстановки текстов, оптимизированных под частые запросы, не имеющие отношения к тематике сайтов (скажем, ищешь по слову ``cекс'', а попадаешь, к примеру, на Центр Американского Английского).

Или написали вы специальный текст, использовав там словосочетания - ваши ключевые запросы. Ежели в меру использовали - то ничего. А ежели сверх меры - то поисковый спам. А что это за мера - неизвестно.

Или попросили вы двоих приятелей поставить на вас ссылки. Нет проблем. Или вы такой общительный, и попросили 1000 приятелей поставить на вас ссылки. Да еще и все одинаковые. Это уже спам. Карается. А вот если 30 ссылок - спам или нет? Неизвестно....

И так далее.

Причем поисковые сервера ПРИНЦИПИАЛЬНО ОТКАЗЫВАЮТСЯ ФОРМУЛИРОВАТЬ ЧЕТКИЕ КРИТЕРИИ. И оставляют за собой право выкидывать любой ресурс, который, как им показалось, нарушает эти самые нечеткие критерии. И их можно понять - любая четкая формулировка тут же свяжет им руки в борьбе с нарушителями.

На конференции во время круглого стола была попытка сформулировать - какие методы допустимы, а какие - нет. Получилось, что как в жизни - все может быть использовано как во благо, так и во зло, причем граница проходит по формулировке ``используемые с целью обмана пользователя''. Т.е. объективно это не определимо - определимо только субъективно.

В принципе, в такой ситуации ничего нового или страшного нет. Скажем, судебная система также использует субъективные мнения. Плохо то, что

- правила все время меняются и

- проявление субъективности со стороны поисковиков ничем и никак не регулируется.

Жизнь на вулкане или Интернет-бизнесы в неправовом поле

Рассмотрим ситуацию:

- Для многих Интернет-проектов основной источник посетителей (т.е. источник жизни) - поисковые сервера.

- При этом этот источник посетителей практически монополизирован - 50-60 процентов посетителей обычно дает Яндекс, и процентов 20-30 - Рамблер.

- И для того, чтобы поддерживать этот поток на должном уровне, проектам приходится ``влиять на работу поискового механизма'' - хотя бы потому, что все конкуренты влияют.

- При этом периодически меняются объявленные правила игры и смещается граница между допустимыми и недопустимыми мерами оптимизации.

- Даже при неизменных правилах существует широкая область, в пределах которой решение о допустимости может быть принято как в одну, так и в другую сторону.

- Решение об исключении ресурса из индекса единолично принимается дежурным модератором, обсуждению и обжалованию не подлежит.

- Сам факт восстановления ресурса в индексе после устранения нарушений, и тем более, сроки этого не гарантируются и не обсуждаются.

В определенной мере та же ситуация имеем место с Top100 Рамблера, который также является крайне важным источником аудитории для многих проектов.

В таких условиях редкий проект может чувствовать себя спокойно. Но попытки разговаривать об этом с поисковиками натыкаются на очень жесткую позицию, что лишний раз подтвердила конференция. Наши поисковики принципиально не желают устанавливать никаких отношений и принимать на себя какие-либо обязательства перед владельцами сайтов - ни бесплатно, ни даже за деньги (кроме рекламы, естественно).

А оптимизаторов и примкнувших к ним владельцев сайтов поисковики, кажется, по большей части рассматривают как классовых врагов (среди которых бывают, конечно, приличные люди, но все-таки :). Показательна в этом смысле была реплика Елены Колмановской (Яндекс) в дискуссии о пользе оптимизаторов для Интернета ``Это все равно, как если бы вирусы гриппа собрались и обсуждали свою пользу для развития медицины''

То, что недостаточно мотивированные исключения идут во вред пользователям поиска, их также не беспокоит - на фоне полумиллиона проиндексированных сайтов исчезновение десятка или сотни совершенно несущественно.

И как коммерческие компании, они в своем праве. Если не учитывать тот факт, что Яндекс с Рамблером фактически монополизировали поставку посетителей по русскоязычным запросам, что все-таки налагает определенную социальную ответственность.

Я уж не говорю о том, что такая ситуация просто криминогенна - когда исполнитель нижнего звена с зарплатой в несколько сотен, в состоянии единолично принимать решения с ценой вопроса во многие тысячи и десятки тысяч долларов, причем его действия обсуждению и обжалованию не подлежат.

Т.е. возможность исключения и восстановления проектов, находящихся в ``серой'' зоне, потенциально оказывается мощным рычагом как для вымогательства, так и для наезда на конкурентов. Пока я о таких случаях ничего не слышал, но цена вопросов растет, и если текущая ситуация сохранится, то, я думаю, такие инциденты не заставят себя долго ждать.

И в завершение - несколько слов собственно, о конференции.

Участников было человек 200, из них - человек 50-60 - оптимизаторов и представителей Интернет-агентств, наверное, с сотню представителей различных Интернет-проектов (клиентов), а так же пресса, представители поисковиков и смежных интернет-сервисов (рассылки, анализ статистики и др.).

Первый день был посвящен реляциям поисковиков (Яндекс буквально за день до конференции запустил два важных новых сервиса), второй - докладам оптимизаторов. Было одинаково интересно и в зале, и в фойе. Завершилось все очень милым фуршетом и беседами с хорошими людьми.

Кстати - если компания Ашманов и Партнеры (организаторы конференции) будет за какие-то разумные деньги продавать книжечку с материалами конференции, крайне рекомендую приобрести. Она содержит много очень толковых и детальных статей, которые можно использовать как прямое руководство к действию.