Индексация сайта в поисковых системах

Если вы заметили проблемы с индексацией вашего сайта - воспользуйтесь нашим бесплатным инструментом анализа сайта.

Основа вашей уверенности в том, что сайт появится в индексной базе поисковой системы, это "успешный" программный код и 100% показатель индексируемости в результатах анализа вашего сайта нашим инструментом.

Если робот не может проиндексировать страницы сайта, тогда поисковик не сможет включить его в свою поисковую базу.

К сожалению, множество web-сайтов используют технологии или архитектуру, делающие их враждебными по отношению к паукам (crawler) поисковой системы.

Робот поисковика в действительности, всего лишь автоматический web-браузер, который должен интерпретировать HTML код вашей страницы, так же, как и обычный броузер.

Но поисковые роботы удивительные тугодумы. Большинство продвинутых поисковиков, достигли развития близкого к версии 2.0 web-броузера.

Это означает, что паук не может понимать множество web-технологий и не может читать некоторые страницы. Это особенно наносит вред, если именно эти части включают некоторые, или же все ссылки на вашей странице.

Если паук не может прочесть ваши ссылки - он не может пройтись по всем страницам проекта.

Оптимизацией под поисковые системы часто пренебрегают во время процесса разработки. В это время дизайнеры сфокусированы на навигации, удобстве и брэнду. В результате, множество сайтов запускаются с уже встроенными проблемами.

А исправить эти проблемы гораздо труднее, чем не сделать их на стадии проектирования. И лишь тогда, когда сайт не появляется в списках поисковика, многие компании обращаются к SEO.

В этом им стыдно признаться, поскольку для малого бизнеса поисковые машины едва ли не самый важный источник трафика.

Почти 85% пользователей интернета ищут сайты через поисковики. Ценность web-сайта, не дружественного поисковикам значительно падает.

В этой статье я дам обзор некоторых ключевых моментов, которые могут препятствовать роботу поисковика индексировать ваше детище.

Данный список ни в коем случае не является исчерпывающим, но он может выделить наиболее общие моменты, которые будут удерживать пауков от индексирования вашего сайта.

Ссылки, написанные на JavaScript

JavaScript - прекрасная технология, но невидимая для всех поисковых машин. Если для контроля навигации вашего сайта вы используете JavaScript, у пауков могут быть серьезные проблемы с индексированием скриптов.

Cсылки, написанные на JavaScript, игнорируются поисковыми роботами. И это может навредить вашему бизнесу.

Например, представьте, что у вас есть скрипт, который перенаправляет пользователя на определенную страницу вашего сайта:

Данный скрипт использует функцию goToPage() для добавления кода направления в конец URLа, прежде чем отослать посетителей на страницу.

Я видел сайты, где каждая ссылка на странице была написана на JavaScript подобным образом. В некоторых случаях JavaScript используется для включения кода направления, в других - для перенаправления пользователей на другие адреса, расположенне на странице. Но во всех случаях первая страница сайта была единственной, которая находилась в индексной базе поисковой системы.

Ни один из пауков не индексирует ссылочный механизм на JavaScript. Даже если бы паук мог интерпретировать данный скрипт, все равно для него трудно интерпретировать всевозможные нажатия мышки, которые запускают функцию goToPage() с различным кодом направления.

Пауки или будут игнорировать содержание SCRIPT-tag, или читать содержание скрипта, как будто это видимый текст.

Как правило, лучше всего избегать навигации при помощи JavaScript.

Меню на DHTML

Выпадающие меню DHTML исключительно популярны при построении навигационной структуры сайта.

К сожалению, они также враждебны паукам поисковика, поскольку опять же имеют проблемы с поиском ссылок на JavaScript, используемом при их создании.

Меню DHTML имеют дополнительную проблему в том, что их код часто расположен во внешних файлах JavaScript. Хотя и существуют весомые причины разместить скрипт во внешнем файле, некоторые пауки не поддерживают этот механизм построения ссылочной структуры.

Если вы используете меню DHTML на вашем сайте и хотите убедиться, какой эффект они оказывают на поисковые системы, попробуйте, выключить JavaScript в броузере - выпадающая часть вашего меню исчезнет и есть вероятность того, что с ней пропадет и верхнее меню. Хлоп! И моментально большинство страниц вашего сайта стали недоступны. То же самое происходит и у поисковых машин.

Строки адресов

Если у вас динамический сайт, который использует такие технологии, как ASP, PHP, Cold Fusion, или JSP, существует большая вероятность того, что ваши URLы включают строку запроса следующего вида:

www.mysite.com/catalog.asp?item=320&category=23

Это может послужить проблемой, поскольку многие пауки поисковых машин не индексируют подобные ссылки, включающие в себя строки запроса. Это верно даже в том случае, если страница, на которую указывает ссылка не содержит ничего, кроме стандартного HTML. URL, сам по себе, является барьером для паука.

Почему? Большинство поисковиков имеют сознательное разработанное решение не индексировать ссылки со строками запроса, поскольку им требуется дополнительная запись для их интерпретации. Пауки содержат список всех проиндексированных страниц и стараются избегать повторного индексирования страницы при уникальном посещении сайта. Они делают это, сравнивая все новые URLы со списком тех, что они уже видели.

Теперь, предположим, что паук видит URL, подобный этому на вашем сайте:

www.mysite.com/catalog.asp?category=23&item=320

Этот URL ведет к той же самой странице, как и наш первый URL, даже не смотря на то, что URLы не идентичны (Заметьте, что пары имя/ценность в строке запроса стоят в разном порядке).

Для определения, что этот URL ведет к той же самой странице, паук должен разделить строку запроса и сохранить каждую пару имя/ценность. Затем, всякий раз, когда он видит URL с той же самой траницей-родителем, ему потребуется сравнить ее пары имя/ценность со строками запроса всех предыдущих, имеющимися в файле.

Имейте в виду, что наш пример запроса весьма небольшой, строка запроса может быть гораздо больше.

Итак, индексирование страниц по строкам запроса означает большую неоправданную работу для робота.

Некоторые роботы, например Googlebot, будут работать с URLами, которые имеют ограниченное количество пар имя/ценность в адресе запроса. Другие пауки будут игнорировать все URLы, содержащие строки запроса.