Найдено по запросу:
agent1. Все, все, все о Robots.txtRobots.txt
Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
Формат файла robots.txt - особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow:
<Поле&
Релевантность: 90
2. Дрессируем пауков
Каждый поисковик использует веб-пауков для индексирования сайтов. Казалось бы, от них не скрыться никому. Однако, используя всего несколько команд, вы способны превратить их в послушных, почти домашних существ.Что произойдет, если подсунуть роботу поисковой системы незащищенный сайт? Правильно, он сделает свое черное дело :)У вас есть шанс увернуться от него, избежать его путешествий! Но если у вас нет маленького текстового файлика в корневом каталоге сервера, ваш сайт может стать таким же
Релевантность: 74
Искать
agent в
интернете.
Ссылка на эту страницу: