|
Для наших проектов как и для многих других проектов Рунета, основным источником трафика являются поисковые сервера - Яндекс и Рэмблер. Поскольку аудитория у нас некомпьютерная, и много новичков, то доля Гугля исчезающе мала... Базы данных в этих проектах насчитывают десятки тысяч записей, поэтом наиболе естекственным способом взаимодействия с ними для пользователей являются формы поиска (навигация практически бесполезна). Поэтому, когда три года назад эти проекты запускались, для них была сделана специальная технология взаимодействия с роботами поисковых серверов, которым подкладывалась некоторая искуственная система навигации по сайту (чтобы обеспечить роботам доступк контенту), недоступная и ненужная "живым" пользователям, . А заодно уж и странички для роботов были облегчены - избавлены от лишних меню, статистики и др., так как сервера был слабые, сайты динамические, базы большие, и генерировались страницы довольно заметное время. Пользователи при этом, естественно, редиректились на нормальные, полные страницы. Как мы сейчас знаем, эта технология называется "клоакинг с дорвеями и редиректами" :) Мы тогда ее придумали сами, очень гордились и всем рассказывали, поскольку никаким криминалом это не считалось. Года полтора назад Яндекс и чуть поже Рамблер начали бороться с поисковым спамом, ввели процедуры чистки и опубликовали свои Лицензии. И наши сайты по формальному признаку оказались вне закона, хотя никакого обмана пользователя там не происходило - "левых" ключевых слов мы не использовали, индексирповался только реальный контент страницы, и пользователи попадали
ровно туда, куда шли. Но боржом пить было поздно - объем уже проиндексированных ссылок (т.е. криминала) достигал многих тысяч. А убивать и их, терять трафик и начинать индексацию заново мы позволить себе естественно, не могли. Попытки разумный совет из Яндекса - что делать в такой ситуации - нам не удалось. Оставалось ждать и молиться. Молитвы не помогли. Летом этого года проекты вычистили из Яндекса - скорее всего, по наводке конкурентов (мы даже догадываемся примерно, кто именно настучал). Нам об этом никто не сообщил, узнали мы об этом только по резкому падению трафика. Претензий к сотруднице Яндекса, которая нажала кнопку, в общем, никаких нет - она действовала по формальной процедуре (хотя потом в переписке признала, что возможно, погорячилась). Юридических претензий к Яндексу тоже быть не может - они вроде как не нарушали свою оферту. Т.е. претензии за убытки, которые мы сейчас несем, предъявить некому. И говорить "сами виноваты" тоже вроде как не совсем уместно - когда все это делалось, это не было криминалом, а возможности обеспечить "легализацию", не убивая бизнес. у нас тоже не было. При этом проблема не в переделке системы индексации, не в локальной потере трафика (переживем) и не в длительности административной процедуры. Переделать систему индексации, удовлетворив формальным требованиям - дело нехиторое (уже переделали). Сервера сейчас, славо богу ,помощнее стали, и
роботам можно отдавать полные страницы без риска получить DoS. Потеря трафика тоже не очень страшна (если она будет кратковременной), так как ресурсы - класса b2b, и накопленная постоянная аудитория успешно решает с их помощью свои задачи. На время падения трафика просто замедляется развитие. А настоящая проблема в том, что при существующих квотах поисковых роботов достижение требуемого количества проиндексированых страниц в Яндексе потребует тех же трех лет, в течение которых накпливались убитые одним движением руки базы наших индексов. ------ Резюме ------- Если при этом для владельцев небольших сайтов предоставляемый Яндексом и Рэмблером сервис вполне адекватен, то для больших по объему контента проектов, типа нашего, имеютмся серьещные проблемы. Поскольку трафик с поисковых серверов является ключевым, хотелось бы здесь иметь какую-то предсказуемость. Конечно, весь российский бизнес стоит на довольно шаткой
платформе, но лишиний фактор риска совершенно ни к чему. Кроме того, проекты с большим объемом информации оказываются в сильно дискриминированном положении по сравнению с маленткими сайтиками, с точки зрения полноты и оперативности переиндексации. Итак, для больших проектов: 1. Нужны механизмы гарантированной полной и оперативной переиндексации. Естественно, платные. 2. Все-таки нужны механизмы, позволяющие официально подкладывать поисковым сервисам специальные view на сайты, без риска, что тебя вычистят - особенно, если переиндексации будут полными и частыми. Тоже вероятно, платные (как минимум, нужно оплачивать аудит используемой системы). 3. И наконец, нужна возможность юридически зафиксировать отношения, чтобы очередные формальные ограничения, до которых владельцы Яндекса додумаются завтра, не привели к очередному забанниванию проекта. Я честно пытался получить у Яндекск платную услугу ускоренной
переиндекксации. Я разговаривал об этом с достаточно высокпоставленными лицами компании. Мне было отвечено, что такой услуги нет и не предвидится, так как она считается противоречашей политике компании, так как сервис
обслуживает не веб-мастеров, а тех, кто ищет. ----- предложение ------- Учитывая, что поисковые сервисы в каком-то смысле паразитируют на контенте, которые создают те самые веб-мастера, которых они видите ли, не обслуживают, может быть, можно сформировать консолидированное общественное мнение на этот счет, и попытаться слегка подкорректировать политику поисковиков, повернув их лицом к владельцам сайтов? И чтобы монополисты, которыми, по существу, сейчас в Рунете являются Рэмблер и Яндекс, все-таки вели себя чуточку поаккуратней?
(
написано 15.10.2003,
опубликовано 15.10.2003)
|