Гайды, исследования и кейсы о парсинге сайтов, мониторинге цен и поставке данных под задачи аналитики, маркетинга и продукта.
Парсинг сайтов за авторизацией: cookies и сессии, токены, CSRF, капча при входе и примеры логина из кода.
Парсинг URL: из чего состоит адрес, как разбирать и собирать ссылки, работать с query-параметрами и кодированием на разных языках.
Разбор текстовых файлов: построчное чтение больших объёмов, кодировки, регулярные выражения и примеры на разных языках.
Обзор готового софта для парсинга: облачные сервисы, десктопные программы и no-code конструкторы — возможности и цены.
Парсинг соцсетей: что реально собрать из VK, Telegram и других платформ, официальные API, ограничения и обзор готовых сервисов.
Зачем начинать сбор с sitemap.xml: разбор индексных карт, выбор нужных URL и экономия на обходе сайта перед парсингом.
Selenium для парсинга динамических сайтов: настройка драйверов, ожидания, обход детекта автоматизации и когда лучше взять API.
Парсинг на Rust: reqwest, scraper, tokio — как строгая система типов и скорость компилируемого языка работают на больших объёмах.
Где брать данные о погоде: открытые API, метеосервисы, парсинг сайтов-агрегаторов и реализация сборщика на разных языках.