Robots.txt

Robots.txt - редактор для файлов robots.txt. Такие файлы располагаются в корневой директории сайтов и используются для хранения технических данных, предназначенных для поисковых ботов. При помощи данной программы пользователи могут редактировать такие файлы, запрещать или разрешать к индексации произвольные разделы сайта, блокировать нежелательных ботов, закачивать файлы robots.txt на сервер через FTP, отслеживать визиты поисковых ботов и формировать соответствующие отчеты в форматах HTML, CSV и XML. В базе приложения содержатся данные по более чем 150 различным юзер-агентам, которые используются интернет-ботами. Программа может анализировать серверные логи (в т.ч. - запакованные) и информировать пользователя о проиндексированных страницах сайта, о страницах с ошибками (например, 404), редиректах, нарушениях политики, определенной в файле robots.txt и т.д. Есть возможность экспорта списка IP-адресов поисковых ботов для нужд клоакинга. Отчеты, подготавливаемые программой, можно настраивать и распечатывать. robots.exe [2,8 Mb] (cкачиваний: 11)