Генератор robots.txt.
Понятные правила.
Осознанные изменения.
Получите основу robots.txt с учётом доступных признаков сайта и существующих правил. Проверьте содержимое, отредактируйте при необходимости и скачайте файл.
Без аккаунта и оплаты · разовый бесплатный результат
robots.txt
User-agent: *
Disallow: /private-area/
Sitemap: https://example.com/sitemap.xmlЧто означают строки
- User-agent
- К каким роботам относятся правила
- Disallow
- Какие пути ограничены для обхода
- Sitemap
- Где находится XML-карта
Перед размещением
- CMS
- Верно ли определён движок
- Пути
- Соответствуют ли вашему сайту
- Копия
- Сохранён ли прежний файл
Переключайте вкладки, чтобы рассмотреть пример.
Условный пример синтаксиса. Не копируйте пути, не проверив структуру своего сайта.
Учитываем текущие правилаСуществующие запреты сохраняются
Пробуем определить CMSПо публичным признакам
Вы проверяете файлРедактирование до скачивания
Создать robots.txt бесплатно
Один файл для одного домена и одно определение CMS без регистрации. Лимит разовый, без ежедневного обновления. Ошибки и повторное скачивание готового результата его не расходуют.
Загружаем доступ и сохранённый результат…
Нужно больше проверок?
Войдите или создайте аккаунт PRO. В ранней версии кабинет бесплатный в пределах действующих лимитов. Платные возможности появятся позже; оплата пока не подключена.
Гостевой результат доступен здесь 24 часа. Войдите в том же браузере и нажмите «Сохранить в историю», чтобы оставить копию в кабинете. Повторный обход не запускается и лимит кабинета не расходуется.
Когда правила сайта нужно привести в порядок.
Подготовка файла начинается с того, что сайт уже сообщает поисковым роботам.
Первый robots.txt
Подготовьте основу для домена, затем проверьте каждый путь с учётом структуры вашего сайта.
Сайт на CMS
Определение движка по доступным признакам помогает подготовить рекомендации. Проверьте, правильно ли распознана система.
Обновление существующего файла
Посмотрите текущие правила и предложенный вариант. Сохраните резервную копию перед заменой на сервере.
Дайте поисковым роботам ориентир.
Соберите правила для нужных разделов и получите файл robots.txt, который можно отредактировать.
Иллюстрация работы с сайтом. Готовый файл вы проверяете и устанавливаете самостоятельно.
Подготовьте. Проверьте. Установите.
- 01
Укажите домен
Инструмент проверит доступные признаки CMS и существующий robots.txt.
- 02
Прочитайте правила
Сопоставьте предложенные строки со структурой сайта. При необходимости отредактируйте файл.
- 03
Сохраните копию и установите
Скачайте результат. Перед заменой сделайте резервную копию прежнего файла и следуйте инструкции установки.
Файл остаётся под вашим контролем.
Универсальное правило может не подходить конкретному сайту. Поэтому перед скачиванием важно проверить рекомендации и пути.
- Признаки CMS
В результате видно определение движка и основание для него.
- Сохранение существующих правил
Текущие запреты учитываются при подготовке файла.
- Редактор и инструкция
Измените правила перед скачиванием и получите порядок установки.
Разберёмся
в деталях.
Ответы о сервисе «Генератор robots.txt». Общие вопросы о работе PRO собрали в справке.
Нужно ли предоставлять доступ к сайту?
Нет. Гостевой инструмент использует публичный адрес. Для размещения подготовленного файла доступ к своему серверу понадобится вам.
Что входит в бесплатный режим?
Один файл для одного домена и одно определение CMS. Редактирование, скачивание и инструкция доступны вместе с готовым результатом. Лимит разовый.
Можно ли без проверки заменить существующий robots.txt?
Не стоит: ограничения конкретного сайта могут отличаться от общих рекомендаций. Проверьте строки и сохраните копию старого файла перед заменой.
robots.txt закрывает секретные данные?
Нет. Запрет обхода не является защитой доступа. Приватные страницы нужно защищать соответствующими средствами сайта.
Движок определён неверно — что делать?
Ориентируйтесь на фактическую CMS и структуру своего сайта. Определение строится на публичных признаках и может ошибаться; правила можно отредактировать перед скачиванием.
Правила для вашего сайта — с проверкой до установки.
Введите домен, изучите рекомендации и подготовьте подходящий файл.