Парсинг структуры сайта — это автоматический обход всех его страниц программой-краулером с построением полного дерева разделов и URL. Краулер ведёт себя как поисковый робот: переходит по внутренним ссылкам, фиксирует каждую страницу, её код ответа, уровень вложенности, связи между разделами. На выходе вы видите сайт так, как его видит Яндекс или Google — со всеми дублями, битыми ссылками и «осиротевшими» страницами.
Материал входит в нашу серию о парсинге в SEO. Разберём, зачем нужен такой обход, что он показывает и какими программами его делают.
Зачем парсить структуру
Сайт на сотни тысяч страниц руками не проверишь. А именно структурные проблемы чаще всего тормозят продвижение: робот тратит краулинговый бюджет на дубли и мусорные URL, важные страницы оказываются на пятом уровне вложенности и плохо индексируются, внутренние ссылки ведут на 404. Парсинг структуры даёт ответы на вопросы:
- Сколько у сайта реальных страниц и как они распределены по разделам.
- Какие страницы отдают ошибки (404, 5xx) и куда ведут редиректы.
- Где образовались дубли по URL и по содержимому.
- Насколько глубоко «закопаны» важные разделы (уровень вложенности).
- Как устроена внутренняя перелинковка и нет ли «висячих» страниц.
Эти данные ложатся в основу технического ТЗ на доработку и помогают спроектировать логичную, плоскую структуру, удобную и пользователю, и роботу.
Что собирает краулер
При обходе по каждому URL программа фиксирует код ответа сервера, сам адрес, уровень вложенности, входящие и исходящие внутренние ссылки, а заодно метаданные страницы — Title, Description, заголовки. По сути парсинг структуры и парсинг тегов и заголовков выполняются одним обходом: вы получаете и дерево сайта, и таблицу метаданных одновременно.
Отдельная сильная сторона современных краулеров — построение визуального дерева. Можно увидеть структуру графически, оценить распределение страниц по уровням и сразу найти аномалии: раздутые разделы, тупиковые ветки, страницы без входящих ссылок.
Чем парсят структуру: обзор программ
Screaming Frog SEO Spider — мировой стандарт. Сканирует сайт, переходя по внутренним ссылкам, собирает метаданные, коды ответов, перелинковку и строит структуру. Умеет визуализировать дерево несколькими способами (Crawl Tree Graph, Directory Tree и др.), исполнять JavaScript для парсинга JS-сайтов и извлекать произвольные данные по XPath через раздел Custom Extraction. Есть режим сравнения двух сканирований — удобно отслеживать изменения после доработок.
Netpeak Spider — мощный десктопный краулер с отчётами по сводке, структуре сайта и парсингу. Выгружает полную структуру на основе URL, отображает уровень вложенности, гибко настраивается под нужные параметры сканирования, поддерживает несколько прокси. Многие SEO-специалисты отмечают его скорость и удобство на крупных интернет-магазинах.
ComparseR — десктопная программа Александра Алаева. Помимо обхода сайта строит дерево структуры и умеет на его основе проверять индексацию страниц в Яндексе и Google методом перебора по разделам — фишка, которой нет у большинства аналогов.
SiteAnalyzer — бесплатная программа, неплохой вариант для базового аудита, когда не нужен платный «комбайн».
Выбор между ними сводится к масштабу и бюджету: для разовых аудитов и небольших сайтов хватит бесплатных решений, для регулярной работы с крупными проектами берут Screaming Frog или Netpeak Spider.
Парсинг структуры сайтов-конкурентов
Краулер можно натравить не только на свой сайт, но и на сайт конкурента — например, чтобы выгрузить структуру большого каталога или интернет-магазина. Через XPath-запросы (скажем, по микроразметке хлебных крошек) собирают дерево категорий, что помогает спроектировать собственную структуру и найти упущенные разделы. Это смежная задача с парсингом семантики: структура конкурента подсказывает, какие группы запросов вы не охватили.
Если же нужно понять не структуру конкретного сайта, а кто вообще занимает топ по вашим запросам, это уже парсинг поисковой выдачи Яндекс и парсинг поисковой выдачи Google — отдельные услуги нашего агентства.