SEO сервисы

Реклама сайтов


Хотите разместить ссылку здесь?








Пдразделы

Статьи

Всего статей: 225 Показать все (скрыть)




Что искали?



Найдено по запросу: agent

1.   Все, все, все о Robots.txt

Robots.txt Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет. Формат файла robots.txt - особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow: <Поле&

Релевантность: 90

2.   Дрессируем пауков

Каждый поисковик использует веб-пауков для индексирования сайтов. Казалось бы, от них не скрыться никому. Однако, используя всего несколько команд, вы способны превратить их в послушных, почти домашних существ.Что произойдет, если подсунуть роботу поисковой системы незащищенный сайт? Правильно, он сделает свое черное дело :)У вас есть шанс увернуться от него, избежать его путешествий! Но если у вас нет маленького текстового файлика в корневом каталоге сервера, ваш сайт может стать таким же

Релевантность: 74


Искать agent в интернете.

Ссылка на эту страницу: