Сегодня 25.06.2017 Вы зарегистрированы в системе под именем ANONYMOUS

Rambler's Top100
Начало
Обо мне
Моя семья и звери
Статьи
Проекты
Стихи
Фото-галерея
Досуги
Былое и думы
Универсальная Самообучающаяся Экспертная Система
Мудрости
Приколы
 
Новости
Карта сайта
Все материалы
Обсуждение
Опросы
 
Rambler's Top100







Персональный сайт Андрея Акопянца  >  Статьи  >  Интернет-технологии и связанные с этим вопросы

"О бедном портале замолвите слово", или поиски и происки

О том, как нас выкидывали из Яндекса, и о ситуации с индексацией больших проектов вообще.

Для наших проектов

как и для многих других проектов Рунета, основным источником трафика являются поисковые сервера - Яндекс и Рэмблер. Поскольку аудитория у нас некомпьютерная, и много новичков, то доля Гугля исчезающе мала...

Базы данных в этих проектах насчитывают десятки тысяч записей, поэтом наиболе естекственным способом взаимодействия с ними для пользователей являются формы поиска (навигация практически бесполезна).

Поэтому, когда три года назад эти проекты запускались, для них была сделана специальная технология взаимодействия с роботами поисковых серверов, которым подкладывалась некоторая искуственная система навигации по сайту (чтобы обеспечить роботам доступк контенту), недоступная и ненужная "живым" пользователям, .

А заодно уж и странички для роботов были облегчены - избавлены от лишних меню, статистики и др., так как сервера был слабые, сайты динамические, базы большие, и генерировались страницы довольно заметное время. Пользователи при этом, естественно, редиректились на нормальные, полные страницы.

Как мы сейчас знаем, эта технология называется "клоакинг с дорвеями и редиректами" :) Мы тогда ее придумали сами, очень гордились и всем рассказывали, поскольку никаким криминалом это не считалось.

Года полтора назад Яндекс и чуть поже Рамблер начали бороться с поисковым спамом, ввели процедуры чистки и опубликовали свои Лицензии. И наши сайты по формальному признаку оказались вне закона, хотя никакого обмана пользователя там не происходило - "левых" ключевых слов мы не использовали, индексирповался только реальный контент страницы, и пользователи попадали
ровно туда, куда шли.

Но боржом пить было поздно - объем уже проиндексированных ссылок (т.е. криминала) достигал многих тысяч. А убивать и их, терять трафик и начинать индексацию заново мы позволить себе естественно, не могли. Попытки разумный совет из Яндекса - что делать в такой ситуации - нам не удалось. Оставалось ждать и молиться.

Молитвы не помогли. Летом этого года проекты вычистили из Яндекса - скорее всего, по наводке конкурентов (мы даже догадываемся примерно, кто именно настучал). Нам об этом никто не сообщил, узнали мы об этом только по резкому падению трафика.

Претензий к сотруднице Яндекса, которая нажала кнопку, в общем, никаких нет - она действовала по формальной процедуре (хотя потом в переписке признала, что возможно, погорячилась). Юридических претензий к Яндексу тоже быть не может - они вроде как не нарушали свою оферту. Т.е. претензии за убытки, которые мы сейчас несем, предъявить некому.

И говорить "сами виноваты" тоже вроде как не совсем уместно - когда все это делалось, это не было криминалом, а возможности обеспечить "легализацию", не убивая бизнес. у нас тоже не было.

При этом проблема не в переделке системы индексации, не в локальной потере трафика (переживем) и не в длительности административной процедуры. Переделать систему индексации, удовлетворив формальным требованиям - дело нехиторое (уже переделали). Сервера сейчас, славо богу ,помощнее стали, и
роботам можно отдавать полные страницы без риска получить DoS. Потеря трафика тоже не очень страшна (если она будет кратковременной), так как ресурсы - класса b2b, и накопленная постоянная аудитория успешно решает с их помощью свои задачи. На время падения трафика просто замедляется развитие.

А настоящая проблема в том, что при существующих квотах поисковых роботов достижение требуемого количества проиндексированых страниц в Яндексе потребует тех же трех лет, в течение которых накпливались убитые одним движением руки базы наших индексов.

------ Резюме -------

Если при этом для владельцев небольших сайтов предоставляемый Яндексом и Рэмблером сервис вполне адекватен, то для больших по объему контента проектов, типа нашего, имеютмся серьещные проблемы. Поскольку трафик с поисковых серверов является ключевым, хотелось бы здесь иметь какую-то предсказуемость. Конечно, весь российский бизнес стоит на довольно шаткой
платформе, но лишиний фактор риска совершенно ни к чему.

Кроме того, проекты с большим объемом информации оказываются в сильно дискриминированном положении по сравнению с маленткими сайтиками, с точки зрения полноты и оперативности переиндексации.

Итак, для больших проектов:

1. Нужны механизмы гарантированной полной и оперативной переиндексации. Естественно, платные.

2. Все-таки нужны механизмы, позволяющие официально подкладывать поисковым сервисам специальные view на сайты, без риска, что тебя вычистят - особенно, если переиндексации будут полными и частыми. Тоже вероятно, платные (как минимум, нужно оплачивать аудит используемой системы).

3. И наконец, нужна возможность юридически зафиксировать отношения, чтобы очередные формальные ограничения, до которых владельцы Яндекса додумаются завтра, не привели к очередному забанниванию проекта.

Я честно пытался получить у Яндекск платную услугу ускоренной
переиндекксации. Я разговаривал об этом с достаточно высокпоставленными лицами компании. Мне было отвечено, что такой услуги нет и не предвидится, так как она считается противоречашей политике компании, так как сервис
обслуживает не веб-мастеров, а тех, кто ищет.

----- предложение -------

Учитывая, что поисковые сервисы в каком-то смысле паразитируют на контенте, которые создают те самые веб-мастера, которых они видите ли, не обслуживают, может быть, можно сформировать консолидированное общественное мнение на этот счет, и попытаться слегка подкорректировать политику поисковиков, повернув их лицом к владельцам сайтов?

И чтобы монополисты, которыми, по существу, сейчас в Рунете являются Рэмблер и Яндекс, все-таки вели себя чуточку поаккуратней?


( написано 15.10.2003,   опубликовано 15.10.2003)

Обсуждение (всего 3 реплики, последняя - 23.01.2006 14:48)    Настройка

21.11.2005 15:14 Замечание по теме: "О бедном портале замолвите слово", или поиски и происки
Яндекс должен умереть, яндекс должен умереть, яндекс должен умереть :)>> >>

 
14.06.2005 12:34 Замечание по теме: "О бедном портале замолвите слово", или поиски и происки
Реклама-это молитва производителя,а молитвы бывают разными,например,золотому тельцу.Алчность таких молящихся равна их существованию.Но з.т. был свергнут ещё в библейские времена!Ваша вера в высшие ценности информации служит стимулом для всех идущих за Вами,господин Андрей!Молитвами стали торговать как индульгенциями,и нет им спасения от кары Спасителя! СЛОВО-с Вами!!!С уважением,GIP>> >>

 
26.10.2003 20:20 Замечание по теме: "О бедном портале замолвите слово", или поиски и происки
>>И чтобы монополисты, которыми, по существу, сейчас в Рунете являются Рэмблер и Яндекс, все-таки вели себя чуточку поаккуратней?

Мне трудно удержаться и не ответить на подобную реплику...

Мои мысли на этот счет:

  • монополизм этих компаний обусловлен, извините, безграмотностью львиной доли пользователей объединенного информационного сообщества и "наглостью этих монополистов";
  • непонятной является перспектива развития подобных компаний, торгующих услугами (тоже весьма абстрактное понятие); цель на мой взгляд может выражаться как, "монополизация рынка услуг" в определенной области;
  • то, что кроется за словом "интернет", в первую очередь, основывается на содержательном аспекте, можно сказать "контенте" и без сайтов его представляющих существование "Рэмблеров", "Яндексов" и им подобных представляется нерентабельным; в этом плане очень перспективно выглядит "google", уже сейчас довольно хорошо ощутима разница в результатах поиска информации "google" и остальных, что при повышении общего уровня "грамотности" несомненно даст толчок к изменению политики "монополистов";

"Реклама сильно захламила не только контент, но и цели многих проектов"

Шизофреник :)>> >>

 



В начало страницы (C) Andrey Akopyants
Перепечатка авторских материалов сайта приветствуется! Ссылка на первоисточник при перепечатке обязательна.