Задача
Компании выкупа нужна была объективная оценка рыночной стоимости б/у автомобилей. Для этого требовалась большая и чистая база объявлений с характеристиками и ценами — как обучающий и справочный массив для системы оценки.
Что делали и какие данные собирали
Мы наладили сбор объявлений о продаже авто с нескольких площадок: марка, модель, поколение и комплектация, год, пробег, состояние, регион, цена и дата. Данные приводили к единым справочникам и очищали от аномалий, готовя массив для аналитики и обучения моделей. Для актуальной картины рынка сбор шёл регулярно.
Сложности и как решали
Первое — дубли и перепосты. Одно авто размещают на нескольких площадках и по нескольку раз. Мы дедуплицировали объявления, иначе популярные модели искажали бы статистику.
Второе — разнобой в характеристиках. Марку, модель, поколение и комплектацию везде пишут по-своему. Мы свели их к единым справочникам.
Третье — «мусорные» цены и фейковые объявления (заниженные приманки, перекупщики). Мы отфильтровывали выбросы, чтобы оценка опиралась на реальные сделки, а не на аномалии. Часть площадок ограничивает автоматический сбор — работали аккуратно, с корректной периодичностью и прокси.
Результат
Клиент получил регулярно обновляемую и очищенную базу объявлений с сопоставимыми характеристиками — надёжную основу для системы оценки стоимости при выкупе.
Услуги в кейсе: Парсинг сайтов объявлений · Данные для AI/ML · Мониторинг цен маркетплейсов
Полезные материалы: Нормализация данных · Парсинг динамических сайтов · Прокси для парсинга