Туроператор FUN&SUN сформировал сегменты на базе машинного обучения. CTR в серии тестов вырос на 0,88 п.п.
21 марта 2023

Туроператор FUN&SUN сформировал сегменты на базе машинного обучения. CTR в серии тестов вырос на 0,88 п.п.

Туроператор FUN&SUN перешел от ручного формирования сегментов для email к использованию алгоритмов на машинном обучении — CTR в тестовой серии рассылок вырос на 0,88 п. п. О том, как внедряли предиктивную аналитику, сколько времени и ресурсов на это потратили и как убедились в эффективности подхода, рассказывает руководитель проекта предиктивной аналитики FUN&SUN Тимур Рагимов.

funsun2.png

Зачем внедрили предиктивную аналитику

Раньше мы вручную формировали сегменты с помощью фильтров Mindbox: учитывали реакцию на рассылки, данные по продажам, пол, возраст и другие признаки — всего около 200 дополнительных полей. Например, для рассылки про Великий Устюг отбирали клиентов с детьми, которые уже ездили в новогодние туры и переходили по ссылке в похожих письмах.

Проблема заключалась в том, что маркетологи физически не могли обработать 200 признаков — из-за большого выбора приходилось действовать скорее интуитивно. Так, клиентам, ранее покупавшим туры в Турцию и Египет, предлагали похожие продукты, но не поездки по России. У коллег просто не было возможности установить взаимосвязи в такой сложной системе: возможно, любители отдыха на море готовы ездить на Алтай — и это определяется по какому-то дополнительному признаку. Ситуация осложнялась низкой частотой покупок в туризме (один-два раза в год): из-за этого проверять гипотезы сложнее. 

Постепенно мы пришли к пониманию, что накопленные знания о клиентах можно использовать для обучения самописных алгоритмов — это позволило бы нам учитывать неочевидные взаимосвязи между признаками и поведенческими паттернами, которые человек отследить не в силах. То есть предлагать клиентам именно тот продукт, который их заинтересует с наибольшей вероятностью. У нас много исторических данных: по продажам — за пять лет, по коммуникациям — за 2,5 года. 

Предполагали, что за счет более точечных предложений для небольших сегментов машинное обучение позволит повысить CTR и CTOR, а также сократить долю отписок — до внедрения алгоритмов число отписавшихся приближалось к числу подписавшихся. О влиянии на конверсию в покупку говорить сложнее: у нас длинный цикл покупки, на продажи влияют многие факторы, в том числе само предложение, работоспособность и функциональность сайта.

Как внедряли алгоритмы на машинном обучении

Внедрение предиктивной аналитики — ресурсоемкий проект, сопоставимый с внедрением полноценной CRM-системы. Защищали его перед генеральным директором и акционером. 

Предпосылкой стало внедрение два года назад CRM-системы, объединившей маркетинговые платформы и учетные системы, включая 1С. Microsoft Dynamics 365 стал фундаментом: чем больший объем данных предлагать системе, тем точнее будет предсказание.

Для разработки алгоритмов на машинном обучении решили использовать самописное решение. Рассматривали варианты готовых решений, но не нашли подходящих. Дело в том, что портрет клиента и следующий за ним рекомендательный сервис — это только части проекта «Предиктивная аналитика», включающего календарь маркетинговых коммуникаций и прогноз спроса. На рынке представлены отдельные компоненты: рекомендательный сервис, портрет клиента, календарь маркетинговых активностей, «прогнозник». Единой системы, позволяющей учитывать задачи разных направлений и использовать их в расчетах, не нашли. При объединении отдельных компонентов вставал вопрос о стоимости дальнейшей поддержки и правах на интеллектуальную собственность. 

Внедрять алгоритмы на машинном обучении помогал подрядчик — российская ИТ-компания GMCS. С ее стороны были бизнес-аналитик, архитектор инфраструктуры, руководитель ML-разработки. Еще 10 сотрудников занимались непосредственно разработкой фронтенда, бэкенда и ML-модели. Со стороны FUN&SUN за внедрение отвечал руководитель проекта. 

Внедрение первого этапа проекта «Предиктивная аналитика» — портрета клиента — заняло шесть месяцев и состояло из пяти этапов: 

1. Сбор бизнес-требований — два месяца

Провели интервью с представителями каждого бизнес-подразделения, в первую очередь маркетинга, продукта и продаж. На встречу приглашали руководителя подразделения и одного-двух ключевых сотрудников, отобранных руководителем.

Эти встречи позволили сформировать достаточное количество гипотез — их последующая проработка легла в основу машинного обучения. Поясню на примере: предполагаем, что одним клиентам важна своевременность предложения, другим — наличие скидки, третьим — конкретная дополнительная услуга. Затем алгоритмы обрабатывают массив данных и определяют справедливость гипотезы: действительно ли есть такие клиенты. 

2. Формирование технического задания — три недели

Изначально планировали использовать алгоритмы для создания фиксированных сегментов, но оказалось, что маркетинговые сегменты рождаются ситуационно, в зависимости от продвигаемых продуктов. 

В итоге пришли к тому, что нужна система матричного сегментирования, позволяющая формировать сотни узких сегментов под запрос. Сегодня, например, мы хотим коммуницировать с людьми, желающими покататься на лыжах 14 февраля, завтра — предложить раннее бронирование любителям отдыха на море, послезавтра — найти тех, кто готов поехать в отель с меньшим количеством звезд, но потратить больше на экскурсии.

Например, у нас есть тур в Африку со скидкой и с большим количеством дополнительных услуг — значит, мы сформируем сегмент любителей экзотического отдыха, склонных приобретать дополнительные услуги и при этом чувствительных к скидкам.  

При этом, в отличие от фильтров в Mindbox, которые позволяют сформировать сегмент по внешним признакам клиентов, используем критерии, пропущенные через модель. Допустим, у нас есть холостой клиент, который в одну из поездок взял с собой племянника. По внешнему признаку «наличие ребенка» такой клиент попадет в категорию семейных и начнет получать соответствующие предложения. Модель на машинном обучении позволяет исключить подобные случайности. 

Заложили также ограничения: не включать в сегмент тех, кто только приобрел тур, отдыхает прямо сейчас или недавно вернулся. А также тех, кто недавно получал рассылки или не реагирует на них, поскольку находится в условном статусе «перегрет». Таких клиентов не следует беспокоить, чтобы не спровоцировать отписку.

Затем определились с интерфейсом — он позволяет в режиме реального времени построить сегмент, сравнить его с другими сегментами в динамике, оценить такие характеристики, как средний чек, возвращаемость, частоту покупок, долю заполненных email-адресов и контактов и, наконец, одним кликом отправить рассылку и сформировать отчет. 

3. Разработка — два месяца

Это время ушло на собственно написание кода, интеграцию с маркетинговыми платформами и рекламными кабинетами (сегмент не просто передается, но и обновляется в режиме реального времени), а также проверку качества алгоритмов. 

Для проверки качества загрузили в систему данные о клиентах за прошедшие полгода — надо было понять, насколько точно получится определить тех, кто совершил покупку за этот период. Точность предсказания оказалась в диапазоне 40–70% — это приемлемая цифра при тестировании машинного обучения. После этого можно было приступать к AB-тестированию. 

4. AB-тестирование — месяц

Провели три AB-теста — случайным образом отобрали три рассылки из плана коммуникаций. Для каждой рассылки выделили четыре тестовых сегмента по 10 тысяч клиентов:

— построенный в Mindbox; 

— предложенный моделью на машинном обучении; 

— пересечение, то есть клиенты, отобранные одновременно Mindbox и алгоритмами; 

— контрольная группа, то есть рандомные контакты.

В качестве метрик выбрали CTR и CTOR — на open rate не ориентировались, потому что он во многом определяется удачной темой (она одинакова для всех тестовых групп). Достоверность тестов — 95%.

После отправки подождали результатов. За время ожидания взяли средний срок, за который подписчики успевают прочитать рассылку и отреагировать, отдельно учли выходные. Затем прибавили результаты группы с клиентами, отобранными одновременно Mindbox и алгоритмами, к результатам каждой из групп (изначально пересечение выделили, чтобы не отправлять письмо одному и тому же клиенту дважды). Оказалось, что во всех трех тестах сегменты на машинном обучении показали лучший CTR и CTOR, чем построенные с помощью фильтров Mindbox: 

funsun.png

Убедились также, что алгоритмы создают более узкие сегменты, где число клиентов меньше в два-три раза. То есть коммуникационная нагрузка на базу снижается — при более высоком CTR и CTOR клиенты получают меньше писем, но более релевантные.

5. Ввод в эксплуатацию — две недели

Подготовили инструкции и две недели работали над формированием ML-сегментов вместе с командой маркетинга: встречались несколько раз в неделю и готовили рассылки по контент-плану.

На этом этапе ожидаемо появились новые требования к интерфейсу. К счастью, для полноценного старта потребовались только косметические правки: добавить статус подписки, группировку регионов и так далее. 

Что планируем делать дальше

Оценить, сократилась ли доля отписок. Для этого должно пройти несколько месяцев: играет роль накопительный эффект. 

Повышать точность алгоритмов. Работа модели будет регулярно улучшаться по двум направлениям. Первое (постоянное) — пересчет ввиду получения новых данных, которые использует модель, и ретроспективное сравнение. Второе (ситуативное) — работа над улучшением модели, например при появлении критической массы данных, которые модель ранее не учитывала, или резком изменении рыночной ситуации. Сравнивать будем с эффективностью предыдущей версии модели.

Создать полноценную рекомендательную систему на базе машинного обучения. Сегментация клиентов для рассылок — только первый шаг. Конечная цель — полностью автоматизировать работу с контентом. 

Для этого планируем создать портрет продукта, то есть сегментировать туры и дополнительные услуги, чтобы маркетологам не приходилось вручную формировать оффер. 

Затем разработаем рекомендательный сервис на сайте и в рассылках, чтобы посетители видели именно те направления, отели и дополнительные услуги, которые заинтересуют их с наибольшей вероятностью. Это самый сложный, но и самый важный этап в работе над рекомендательной системой: сайт — наш основной канал продаж. 

Связать рекомендательную систему с календарем маркетинговых активностей. Алгоритмы будут подсказывать, когда и с кем проводить коммуникацию, и при этом определять очередность — какой тур предложить в первую очередь, например с учетом валютных курсов, обязательного выкупа мест в отеле или сгорающих авиабилетов.   

Научиться прогнозировать спрос. Мы как туроператор напрямую сотрудничаем с авиакомпаниями, отелями и другими поставщиками — надеемся, что алгоритмы помогут нам оптимизировать закупки с учетом закрытых стран, отелей на ремонте и других факторов. 

Источник: журнал Mindbox, март 2023 г.

 


Назад