Задача
Клиенту нужно было раньше конкурентов замечать появление новых брендов в нише — как только они всплывают в поиске или регистрируют домены. Рынок быстро меняется: бренды появляются и меняют домены постоянно, а ручной мониторинг выдачи и доменных списков не успевает.
Что делали и какие данные собирали
Мы совместили два сигнала. Первый — мониторинг поисковой выдачи по тематическим запросам и целевым странам: какие новые сайты и объявления всплывают. Второй — отслеживание свежезарегистрированных доменов с фильтрацией по признакам ниши через поиск доменов по ключевым словам. Совпадения сводили в единую ленту новых кандидатов с датой первого обнаружения.
Сложности и как решали
Первое — скорость. Ценность сигнала быстро падает, поэтому сбор мы сделали регулярным и частым, чтобы фиксировать бренды на раннем этапе.
Второе — геозависимость выдачи. Результаты отличаются по странам, поэтому выдачу снимали по целевым странам и с ротацией прокси, иначе картина была бы неполной.
Третье — шум. В выдачу и доменные списки попадает много нерелевантного. Мы отсекали лишнее фильтрами по признакам ниши, оставляя только реальных кандидатов. Часть площадок активно защищается от автоматического сбора — подходы мы разбирали в материале про защиту от парсинга.
Результат
Клиент получил регулярно обновляемую ленту новых брендов и доменов ниши с ранним обнаружением — вместо ручного мониторинга выдачи и доменных списков.
Услуги в кейсе: Мониторинг поисковой выдачи · Парсинг поисковой выдачи · База доменных имён · Поиск доменов по ключевым словам · Данные для iGaming
Полезные материалы: Парсинг запросов Google · Прокси для парсинга · Защита от парсинга