Продвижение сайта глазами поисковых роботов

У поисковой машины одна цель – обеспечить пользователя наиболее релевантными результатами по его запросу. Если алгоритм приведет к успеху – человек будет обеспечен информацией, отвечающей его потребностям. Впоследствии он с высокой вероятностью вернется к этому поисковику еще и еще, потому что получил результат, который ему необходим, без спама и с минимумом рекламы.

Индексация сайта

Техническая сторона вопроса состоит в отображении релевантных результатов в кратчайшие сроки в соответствии с запросом. Для этого разработчикам необходимо организовать архив информации, из которого оперативно выбирать данные. Каждый поисковик имеет свои запатентованные методы для сбора и ранжирования данных о контенте сайтов. Независимо от использованных конкретных методов и алгоритмов, в целом этот процесс называется индексацией. Фактически проводится попытка отсканировать весь интернет и упорядочить полученную информацию так, чтобы результаты могли быть показаны сразу после ввода поискового запроса.

Алгоритм поисковых машин

Каждая поисковая машина имеет программы, называемые ботами или роботами, постоянно сканирующие всемирную сеть, индексируя веб-сайты в соответствии с их содержанием. Кроме того на каждой странице отслеживаются ссылки к другим ресурсам. Если сайт не был индексирован – его появление невозможно в результатах поиска. Это может быть выгодно лишь в случаях работы с теневыми он-лайн схемами либо при попытке обманным путем попасть в топ страницы результатов поиска – все это тупиковые пути развития интернет-проектов.

Большие поисковые системы, такие как Яндекс, Google, Yahoo, постоянно индексируют сотни миллионов, если не миллиарды, веб-страниц. Как определяется: какой именно результат показывать на конкретный запрос? Поисковик рассматривает две основных сферы во время определения тематики веб-сайта и его ранжирования.

Первая – контент веб-сайта. В процессе индексации страницы поисковый робот сканирует каждую страницу веб-сайта, выискивая ключевую информацию о тематике, раскрываемой через контент. Он также сканирует на уровне доступа к данным (HTML код) на наличие определенных тегов, описаний и инструкций.

Вторая – внешние ссылки или другими словами, кто ссылается на сайт. Как уже было сказано выше: ботом отслеживаются ссылки с других веб-сайтов. Чем больше входящих ссылок имеет веб-сайт, тем больше у него влиятельности и авторитета (веса). В общем случае можно считать, что каждая входящая ссылка считается голосом, отданным за контент веб-сайта. Также следует учитывать, что каждая входящая ссылка имеет свой вес. Например, ссылка с высокоавторитетного новостного сайта ИТАР ТАСС ( http://tass.ru/) придаст сайту больше веса, чем ссылка с маленького блога. Это влияние часто называется ссылочным весом.

Когда запрос введен, поисковая система просматривает уже сформированный индекс и выделяет наиболее релевантную информацию, а затем отображает результаты. Они ранжируются в порядке наибольшей релевантности и авторитетности.

Факторы ранжирования

Если для эксперимента ввести одинаковый запрос в разные поисковые системы – велика вероятность, что страницы результатов будут различными. Причина этого в том, что в каждой системе используется свой уникальный алгоритм, учитывающий множество факторов, определяющих окончательный результат в соответствии с конкретным запросом.

Существует несколько факторов, учитывающихся поисковыми системами в своих алгоритмах. Перечень информации, существенно влияющий на результаты:

• географическое местоположение пользователя, давшего запрос;
• история активности пользователя, поведенческие факторы (клики, коэффициент возврата и т. д.);
• качество ссылок (взаимные либо односторонние);
• контент (ключевые слова и фразы, теги, картинки);
• код уровня доступа к данным (HTML);
• типы ссылок (социальные сети, из выпусков новостей, блогов и т. д.).

Черное SEO

Первым революционером в области поисковых систем стал Google. Он принципиально изменил методы индексации. Google впервые ввел усовершенствованный алгоритм, дающий лучшие, релевантные результаты. Примерно до 1997 года поисковики единственным фактором ранжирования считали параметры контента и проводили анализ сайта по плотности ключевых слов. В то время подобные факторы считались достаточными для определения сайтов, попадающих в топ поисковой выдачи.

Этот подход породил, так называемое черное SEO. Разработчики сайтов начали преднамеренно наполнять веб-страницы ключевыми словами для улучшения позиции сайта в поисковой выдаче. При этом тематика страницы и ее содержание могли никак не соотноситься с ключевыми словами, т.е. они были абсолютно не релевантными запросу, введенному пользователем.