Гайды, исследования и кейсы о парсинге сайтов, мониторинге цен и поставке данных под задачи аналитики, маркетинга и продукта.
Как устроены современные анти-бот-системы: фингерпринтинг, поведенческий анализ, капчи и что это значит для владельцев сайтов.
Регулярные выражения в парсинге: синтаксис, полезные шаблоны, границы применимости и почему для HTML нужен парсер, а не regex.
Гид по прокси для парсинга: датацентровые, резидентные и мобильные, ротация, проверка приватности и защита от детекта.
Парсинг сайтов за авторизацией: cookies и сессии, токены, CSRF, капча при входе и примеры логина из кода.
Selenium для парсинга динамических сайтов: настройка драйверов, ожидания, обход детекта автоматизации и когда лучше взять API.
Два способа парсить динамические сайты: реверс XHR-запросов к API и headless-браузеры — плюсы, минусы и критерии выбора.
Что такое обогащение данных: какие атрибуты добавляют к компаниям, товарам и контактам, откуда их берут и как это устроено технически.
Термин «нормализация данных» в трёх значениях: реляционные базы, машинное обучение и очистка спарсенных данных — разбираем каждое.
Что такое DOM-парсер и как он устроен: построение дерева документа, навигация по узлам и отличия от потоковых и регэксп-подходов.