SEO-инструменты

Генератор robots.txt онлайн

Соберите корректный robots.txt: выберите режим, добавьте запреты из пресетов или свои, укажите sitemap и Clean-param для Яндекса — файл собирается на лету.

Работает в браузере — данные не отправляются на сервер
Режим
Быстрые пресеты (добавляют запреты)

Файл кладётся в корень сайта: site.ru/robots.txt. Пустая директива Disallow означает «разрешено всё». Clean-param понимает только Яндекс, поэтому она выносится в отдельную секцию User-agent: Yandex.

Нужны не утилиты, а данные под задачу?

Соберём и приведём в порядок данные с сайтов: цены, товары, контакты, отзывы — в нужном формате и с нужной регулярностью.