Гайды, исследования и кейсы о парсинге сайтов, мониторинге цен и поставке данных под задачи аналитики, маркетинга и продукта.
Скрапинг, парсинг и краулинг: разбираем, чем отличаются эти процессы, как они связаны и почему термины постоянно путают.
Парсинг RSS и Atom-лент: структура форматов, готовые библиотеки и мониторинг новостей и блогов без обхода страниц.
Работа с XML в разных языках: DOM против SAX, XPath, пространства имён и разбор больших выгрузок без переполнения памяти.
Парсинг URL: из чего состоит адрес, как разбирать и собирать ссылки, работать с query-параметрами и кодированием на разных языках.
Разбор текстовых файлов: построчное чтение больших объёмов, кодировки, регулярные выражения и примеры на разных языках.
Зачем начинать сбор с sitemap.xml: разбор индексных карт, выбор нужных URL и экономия на обходе сайта перед парсингом.
Извлечение текста и таблиц из PDF: текстовые слои против сканов, OCR через Tesseract и примеры на Python, JavaScript и PHP.
Парсинг логов серверов и приложений: форматы access/error-логов, регулярные выражения, готовые инструменты и примеры разбора.
Разбор JSON во всех деталях: вложенные структуры, стриминг больших файлов, JSONPath и типичные ошибки при работе с API.