Задача
Агентство работает с несколькими премиальными жилыми комплексами и должно быть в курсе всех новых объявлений и изменений цен именно по этим ЖК. Вручную отслеживать несколько площадок ежедневно нереально, а важные лоты уходят к тем, кто увидел их первым.
Что делали и какие данные собирали
Мы наладили регулярный сбор объявлений о недвижимости с нескольких площадок и фильтрацию по нужным ЖК: цена, площадь, этаж, планировка, статус, продавец, дата. Настроили мониторинг изменений: новое объявление, снижение цены, снятие с публикации — всё попадает в ленту агентства с историей по каждому лоту.
Сложности и как решали
Первое — привязка к конкретному ЖК. В объявлениях адрес пишут вольно, а иногда указывают только район. Мы сопоставляли объявления с комплексами по совокупности признаков (адрес, координаты, название ЖК, ориентиры), а не по одной строке адреса.
Второе — дубли. Один и тот же лот висит на нескольких площадках и от разных агентов. Мы дедуплицировали объявления, чтобы лента показывала реальные объекты, а не их копии.
Третье — отслеживание изменений и защита площадок. Часть сайтов отдаёт данные динамически и ограничивает автоматические запросы; сбор мы вели аккуратно, с корректной периодичностью и прокси.
Результат
Агентство получило единую ленту по своим премиум-ЖК с новыми лотами и изменениями цен в динамике — команда стала быстрее реагировать на интересные объекты, а мониторинг перестал зависеть от ручного обхода сайтов.
Услуги в кейсе: Парсинг недвижимости · Мониторинг изменений на сайтах и в данных · Данные для рынка недвижимости
Полезные материалы: Парсинг динамических сайтов · Прокси для парсинга · Нормализация данных