Главная поисковая система Рунета

Главная > Поисковые системы (машины) > Главная поисковая система Рунета

04 Окт 2009

Наверное, не стоит напоминать вам о том, что самой популярной системой Рунета выступает Yandex. В своем предыдущем посте я писал о самых популярных поисковых системах и отчасти затронул Yandex. Сегодня же я хочу поговорить подробнее об этой поисковой машине.

Как вы уже знаете, Яндекс появился в 1997 году, и, казалось бы, за столь небольшой период, компания смогла стать настолько популярной системой в Рунете, что сравниться с ней может разве что сам Google. Кстати, подробнее об истории становления компании вы можете прочитать здесь.

По статистике, поисковую машину (кому как удобно называть) посещает в день более 9 000 000 человек! Если брать во внимание 2007 год, тогда посещаемость составляла более 5 миллионов человек. Буквально за два года компания смогла увеличить приток пользователей почти вдвое! И даже, несмотря на тот факт, что некоторые оптимизаторы заверяют, что искать информацию стало хуже, на статистике посещений Yandex это ничуть не отразилось. Правда и то, что количество потенциальных посетителей меньше приведенной выше цифры. 9 000 000 – это условное значение, в которое вошли не только посетители, но и покупатели различного рода услуг или товаров.

В любом случае, Яндекс занимает лидирующие позиции в Рунете, ну или покамест лидирующие.

Итак, как и любая поисковая система, Яндекс использует свою технологию поиска, которая базируется на кластерной основе. Каждый кластер отвечает за определённый сегмент сохранённой информации. Сканирующие роботы поисковой системы бывают 2 видов:

1) основной сканирующий робот.
2) быстрый робот, в обязанности которого входит регулярное сканирование информации на сайте и ее внесения в поисковую систему. Это позволяет быстрее обновлять индекс поисковой машины.

В логах к собственному сайту можно увидеть информацию о посещении роботами отдельных страниц или сайта в целом.

У Яндекса есть несколько роботов, которые представляются по-разному.

• Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
• Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
• Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
• Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
• Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
• Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
• YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
• YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) — робот поиска по блогам, индексирующий коментарии постов

IP-адреса, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов мы не разглашаем.

Кроме роботов, у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует статистические отчеты для контент-менеджера и информирует его о возможных проблемах у партнеров-поставщиков новостей.

Если вы хотите узнать о всех технологиях Яндекса, советую посетить вот эту страничку.

Поисковая система Яндекс постоянно совершенствуется, появляются новые алгоритмы, которые, к сожалению, не идеальны. Правда, авторы поисковой машины уверены, что их разработка оставляет в своей базе только полезные и интересные сайты, которые могут дать ответ на нужный вопрос любому пользователю.

Яндекс разработал собственный каталог лучших сайтов, Яндекс.Каталог.

Яндекс.Каталог — описания сайтов интернета, систематизированные по тематическим категориям. Сайты подбираются и описываются редакторской службой. Конечно, интернет необъятен, и описать все имеющиеся в нем сайты невозможно. Редактора отбирают самые качественные ресурсы, которые помогут сориентироваться в интересующей вас теме. Подробнее.

В нем, естественно, находятся самые лучшие сайты. Попасть в этот каталог можно двумя способами: платным (придется заплатить 12 500 руб) и бесплатным. К слову говоря, платный способ вовсе не означает, что вас со 100% уверенностью возьмут в ЯКаталог. Поэтому не стоит раньше времени радоваться. Если вы решил добавить сайт на бесплатной основе, придется подождать некоторое время. В любом случае очень много сайтов заносится в Каталог на бесплатной основе.

Конечно же, в данном посте мною были перечислены не все главные составляющие этой поисковой системы, да и размер поста получился бы слишком большим. В следующих постах я собираюсь более детально рассматривать работу Яндекса, его сервисов.

Популярность: 7% [?]

Поисковые системы (машины) алгоритмы, поисковая машина, яндекс