Вставьте содержимое robots.txt и адрес страницы — инструмент определит, разрешён ли обход выбранному боту, и покажет правило, которое сработало.
Работает в браузере — данные не отправляются на серверМатчинг — как у Google и Яндекса: выбирается группа для бота (или *), из подходящих правил побеждает самое длинное; при равной длине Allow сильнее Disallow. Поддерживаются * и $ в путях. Пустой Disallow означает «всё разрешено».
Счёт символов и пикселей, предпросмотр сниппета Google.
Частотность слов и фразТоп слов, биграмм и триграмм текста — с фильтром стоп-слов.
Генератор robots.txtСоберите robots.txt: запреты, Clean-param и ссылка на sitemap.
Sitemap.xml из списка URLВставьте адреса — получите готовый файл карты сайта.
Соберём и приведём в порядок данные с сайтов: цены, товары, контакты, отзывы — в нужном формате и с нужной регулярностью.