ПРИНЯТИЕ РЕШЕНИЙ НА ОСНОВЕ ДАННЫХ И DECISION INTELLIGENCE FRAMEWORK

Data-driven атрибуция в Google

В бесплатной версии Google Analytics есть семь моделей атрибуции, но вам нужно быть клиентом Analytics 360, чтобы получить доступ к моделированию атрибуции на основе данных. G A360 предлагает множество функций и целостный обзор действий пользователей по всем цифровым каналам, чтобы оценить их путь к конверсии.

Поскольку data-driven атрибуция в Analytics 360 обеспечивает всестороннее представление о том, как каждый канал способствует конверсиям, полученные сведения можно использовать для оптимизации бюджетов.

Тем не менее, при всех достоинствах атрибуция на основе данных в Google имеет один серьезный недостаток — автоматическое закрытие сессии каждый день в 00:00. В этом случае конверсии пользователя будут учтены, но они не будут привязаны к тому источнику трафика, к которому привязана сессия, завершенная в 00:00. Если пользователь пришел по рекламе в 23:59, а в 00:10 совершил конверсию, она будет привязана уже к новой сессии, у которой источник трафика — прямой заход (ведь в 00:00 пользователь уже находился на сайте). И это вносит путаницу в атрибуцию конверсий и в анализ эффективности рекламных каналов. Получается, что даже с использованием дата-дривен подхода в Google Analytics 360 мы получаем искаженные данные.

Как использовать data-driven атрибуцию по максимуму с Andata

Маркетинговая платформа Andata предлагает персонализировать и оптимизировать цикл взаимодействия с клиентами по всем маркетинговым каналам с помощью использования нейросетей.

Как это работает? В отличие от Google, система собирает единый цифровой профиль пользователя, который объединяет данные из разных источников, таких как мобильные приложения, веб-сайты, платные и бесплатные рекламные каналы, т. д. Вся поступающая информация привязывается непосредственно к цифровому паспорту, а не конкретной сессии, что позволяет отслеживать путь клиента, который может длиться месяцами.

Все данные, запечатанные в рамках единого цифрового профиля, анализируются благодаря модели атрибуции, основанной на машинном обучении, и связываются с разными параметрами, такими как отпечаток браузера, дата, тип устройства, операционная система, пройденная авторизация, ключевое слово и множество других параметров. Все это позволяет выстроить точный путь пользователя, а также назначить каждому взаимодействию свой вес, значимость и влияние на итоговую ценность конверсии.

В результате глубокого анализа и оценки ряда параметров нейросетями, Andata предоставляет вероятностные сценарии, которые помогают принимать стратегические решения на основе данных и оптимизировать рекламные кампании для достижения поставленных целей с наилучшим результатом для бизнеса.

Этап 4. Составить ТЗ для аналитика

Техническое задание также должно соответствовать целям бизнеса. Аналитик не сможет дать релевантные данные, если попросить его «сделать что-нибудь».

Благоприятные факторы

Хотя в приведенных выше разделах описаны процессы, которые могут быть адаптированы для внедрения Decision Intelligence, они вряд ли будут успешными без корпоративной среды, которая позволяет применять методы анализа решений в корпоративном контексте.

Культура принятия решений

Bain and Company

Конечно, культура принятия решений в организации (ценности, стремление к прозрачности принятия решений, культура непрерывного совершенствования и т.д.) является важнейшим фактором, способствующим применению подхода DI к принятию решений.

Разнообразие взглядов

Начнем с отсутствия единой трактовки процесса DI. Существует столько же определений DI, сколько и причин для его внедрения в бизнес. Тем не менее, лидирующие определения в этой области начали формироваться как минимум вокруг трех различных взглядов на DI, которые имеют много общих элементов:

Lorien Pratt’s «Link» и Causal Decision Diagram

Ее книга представляет собой краткое изложение основ DI, представленное наряду с несколькими основными концепциями. В частности, Лориен выступает за использование «диаграммы причинно-следственных решений» (Causal Decision Diagram, CDD).

CDD — это ценный инструмент, который позволяет пользователю «проектировать» решения путем определения трех основных компонентов решения (действия, причинно-следственные связи, результаты) и их совокупного влияния на желаемый результат. Линк приводит несколько примеров и даже представляет методы проектирования CDD, подчеркивая полезность CDD как основы для использования данных, информации, аналитики или моделей ML / AI.

Cassie Kozyrkov (Chief Decision Scientist, Google)

Еще один важный человек в этой области — главный специалист Google по принятию решений доктор Кэсси Козырьков. Помимо впечатляющего резюме и биографии, Кэсси — очень талантливый оратор и писатель, который активно участвует в жизни сообщества специалистов data science и бизнеса, часто используя анекдотические истории или интернет-мемы, чтобы донести свою мысль. Как и в случае с Лориен, я советую вам ознакомиться с некоторыми статьями и видеороликами Кэсси (например – прим. пер.).

Модель «Engineering Decision Intelligence», упомянутая в исследовании Gartner®

Поэтому я уверен, что Gartner явно наблюдает за этой темой, они даже разработали собственное определение и рамки для DI. Стоит отметить, что DI были представлены на их виртуальном саммите по данным и аналитике в мае прошлого года (2021-го – прим. пер.).

Gartner определяет Decision Intelligence так:

Задача №3а

Все вводные предыдущей задачи остаются, добавляется график динамической себестоимости (предположим, что там учтены расходы на хранение на складе, колебания курсов валют, усушка и т.п.).

По итогам акции мы видим следующий график продаж:

• к аналогичному месяцу прошлого года: +77%
• к прошлому месяцу: +52%

Ваши действия?

1. Уволить маркетолога
2. Оставить маркетолога без премии
3. Вручить маркетологу стандартную премию
4. Вручить маркетологу двойную премию
5. Для принятия решения недостаточно данных

Возможные ответы

Смотреть, если вы готовы

1. Уволить маркетолога (“мы в минусе, уволить!”)
2. Оставить маркетолога без премии (“признаем эксперимент неудачным, решаем проблемы внутренней коммуникации и идём дальше”)

Распродажи “в минус” при несогласованности отделов — это большая беда. Чаще всего такие акции скорее рассчитаны на повторные продажи.

Пожалуй, количество линий на текущем графике — это максимум, который можно себе позволить без потери читабельности.

Структура процессов для внедрения Decision Intelligence

Здесь я предлагаю схему, которая описывает основные виды деятельности и факторы, способствующие развитию целостной операционной модели Decision Intelligence и принятия решений. Эта модель, представленная ниже, объединяет концепции из нескольких различных определений DI и наук о решениях и служит руководством для внедрения возможностей DI в организациях:

Оригинальное изображение, созданное автором статьи

Эта структура построена вокруг двух основных принципов:

Следующие разделы в общих чертах описывают каждую из этих областей и призваны дать читателю основу, в виде этой структуры (на которую можно опереться в собственных изысканиях – прим. пер.).

Core Activities — Pre-Decision

Первый набор действий происходит до принятия решения и описывает процесс «проектирования» решения — то есть, принятие первых критических шагов по созданию структуры решения, которая позволит всем последующим шагам опираться на данные изыскания.

Decision Framing

(Определение границ принятия решений – прим. пер.).

Известные психологи Канеман и Тверски определяют границ принятия решения следующим образом:

Из этого определения видно, что оно эффективно устанавливает границы решения — каковы мои действия (рычаги), результаты (желаемые или нет) и непредвиденные обстоятельства (риски и внешние факторы)? Далее они показывают, что предпочтение при принятии решения сильно зависит от формулировки — даже если ожидаемые результаты идентичны.

Очевидно, что процесс правильного формулирования решения является ключевым не только для определения границ решения, но и для выработки желаемого процесса принятия решения. Таким образом, они должны отвечать на следующие вопросы:

Системный подход к определению границ принятия решений является критически важным условием для процессов принятия решений на последующих этапах.

Decision Mapping

(Картографирование процесса принятия решения – прим. пер.).

Доктор Лориен Пратт проделала отличную работу по разъяснению полезности Causal Decision Diagram в своей книге «Link» и соответствующих статьях (как обсуждалось выше). Этот метод очень полезен для отражения действий, причинно-следственных связей и результатов в простом графическом формате, который располагает к обсуждению, вовлечению, прозрачности и структуре.

Упрощение Decision Mapping имеет решающее значение для внедрения структурированного принятия решений с помощью CDD или связанных с ними процессов принятия решений.

Decision Augmentation

Деятельность, сгруппированная в разделе «Decision Augmentation», основывается на шагах «Decision Design», оценивая разработанные решения и четко определяя, где есть точки интеграции для данных и/или аналитики. Здесь предлагается провести анализ дизайна решения с целью определения пробелов или проблем, которые могут быть или не быть разрешимыми.

Data and Analytics Integration

Спроектированное решение — например, представляющее серию действий до результата — дает возможность четко определить, где и как данные или аналитика могут поддержать последующие процессы, предшествующие принятию решения (например, моделирование), или как определить, будет ли действие иметь запланированный результат.

Обоснование простое: если у вас есть путь «действие — причинно-следственная связь — результат», то на самом деле перед вами математическая функция. Например, если моим действием является увеличение расходов на рекламу, а результатом или промежуточным звеном — увеличение продаж, то существует математическая функция, которая описывает взаимосвязь между расходами на рекламу и продажами.

Таким образом, для проработки решения в рамках описанной выше схемы мы можем взять подкомпоненты решения, чтобы прикрепить к ним конкретные данные, метрики, аналитику, прогнозные модели и т. д. В равной степени мы можем рассматривать блоки подкомпонентов (например, кластеры «действие — связь — результат» или аналогичные), которые, как известно, имеют взаимосвязи, управляемые одной совокупной взаимосвязью, описывающей действия и результаты. В книге Лориен Пратт «Link» проделана большая работа по представлению Causal Decision Diagram как основы для интеграции данных и аналитики (автор оригинальной статьи видимо очень сильно ждал эту книгу – прим. пер.).

Выявление неопределенности

VUCA означает волатильность (volatility), неопределенность (uncertainty), сложность (complexity) и двусмысленность (ambiguity). Оно описывает деятельность в условиях постоянных, непредсказуемых изменений, которые сегодня являются нормой в некоторых отраслях и сферах.

Expected Utility — экономический термин, обозначающий «пользу», которую, как ожидается, получит организация при любых обстоятельствах. Рассчитывается через средневзвешенное значение всех возможных исходов.

Решение имеющее определенные границы дает возможность рассмотреть контекст решения на верхнем уровне и определить, где у нас есть известные факты, неизвестные и т.д. В равной степени CDD даёт возможность рассмотреть каждую причинно-следственную связь и выявить неопределенности используя подход Рамсфельда (как указано выше), а также (если данные и аналитика интегрированы) с точки зрения статистики, например: какова погрешность, как выглядит качество данных, и т.д.

Что касается этой схемы процесса, то, проактивно выявляя области неопределенности, мы готовимся признать ограничения нашего процесса принятия решений и даем себе шанс выявить систематически неразрешимую неопределенность или области, где мы могли бы снизить уровень неопределенности при принятии решений.

Decision Optimization

Разработанное решение дает нам возможность рассмотреть, есть ли возможности для оптимизации действий с помощью моделирования, и/или согласовать подход к принятию решения с контекстом и его дизайном. Этот набор процессов дает возможность рассмотреть заключительные шаги перед принятием решения.

Modeling

Этот шаг возможен там, где хорошо структурированные решения дают возможность моделировать связи между действиями и результатами в рамках CDD (или логической модели, или аналогичной). Потенциально это позволяет оценить совокупное влияние действий на результаты от принятия решения. Там, где данные не позволяют разработать детализированную модель, и оценка суммарного влияния решения на конкретный или промежуточный результат (например, «больше» или «меньше» результата Х будет получено в результате этого действия) может быть полезным в оценке кумулятивного эффекта на все результаты серии событий.

Очевидно, что это сложный процесс, требующий значительных затрат времени и ресурсов, который может соответствовать или не соответствовать контексту решения. Однако — это потенциально ценный шаг, так как он позволяет оптимизировать решение по отношению к целевым бизнес-результатам.

Независимо от того, решите ли вы моделировать решение или нет, должно быть ясно, что организациям, желающим моделировать и оптимизировать (и автоматизировать — прим. пер.) свои решения, придется привлекать собственных специалистов по анализу данных и/или привлекать внешних поставщиков услуг для поддержки этого процесса.

Подход

Хотя много говорится о подходах к принятию решений, основанных на данных, реальность такова, что во многих обстоятельствах они не являются оптимальными или даже желательными. На недавнем саммите Gartner® Data and Analytics Summit компания Gartner провела несколько сессий, посвященных принятию решений.

Я бы распространил эту концепцию на части решения, например, связи между действиями и результатами в CDD, с точки зрения этого подхода, также могут иметь сильные и слабые стороны. Например, инстинктивный (т.е. эвристический) подход к оценке того, повлияет ли то или иное действие на результат, может подойти в тех случаях, когда чувствительность результата к данному действию низка или когда сбор данных обходится непомерно дорого. Это также хороший способ адаптировать подход к участникам процесса принятия решения (см. выше).

Для целей данной схемы важно признать, что существует целый ряд подходов, и что часть вашего процесса принятия решения должна учитывать наиболее подходящее сочетание подходов для конкретного контекста принятия решения.

Как применять этот фреймворк?

Применение всех процессов системы требует значительных затрат времени и ресурсов. Поэтому, более рациональное применение этого фреймворка предполагает его адаптацию к конкретным решениям.

Концепция проста: не все решения требуют всех процессов, при этом более простые или менее влиятельные решения требуют меньшего подмножества, в то время как более сложные решения потенциально требуют большего.

Извлечение Decision Artifacts

Хорошо задокументированное решение, состоящее из четкие ограничения, плана, возможно карты решений связанной с данными и аналитикой, извлеченными уроками и т.д., предоставляет широкие возможности для сохранения и повторного использования всех этих артефактов для будущих решений. Аналогичным образом, субкомпоненты (например, любая информация, которая была предположена и проверена через связь «действие — причинно-следственная связь — результат») могут быть повторно использованы в качестве субкомпонентов будущих карт решений.

Безусловно не все решения будут поддаваться такому типу сохранения знаний, но для тех, которые поддаются, есть возможность сократить объем будущей работы, необходимой для создания аналогично структурированных решений.

Извлечение Decision Artifacts — там, где это применимо — обеспечивает возможность их повторного использования, что может значительно повысить эффективность применения DI к будущим решениям.

На каких этапах развития бизнеса внедрять data driven подходы

Как показывает практика крупных брендов, показатели дата дривен можно использовать на каждом этапе продвижения продуктов и услуг.

На этапе запуска

Бизнес проводит полноценные, обширные маркетинговые исследования, цель которых в точном определении целевой аудитории и ее «болей», а также — в тщательном анализе конкурентов, расчетов возможной прибыли.

Пример: в 2012 году руководство компании British Airways поставило задачу нарастить долю рынка перелетов из Северной Америки, так как они приносили наибольшую прибыль. После изучения авиарынков разных стран British Airways решила сосредоточиться на Индии, чей потенциал оценивался более чем в 2 млрд долларов.

Далее British Airways провела несколько фокус-групп среди индийских экспатов, живущих на Западе. Выяснилось, что индийцам не по душе попытки приспособления национальной культуры к сервису во время перелетов (подача индийской еды, элементы традиционной одежды и аксессуаров в униформе экипажа и т. д.). Зато определилась основная причина перелетов — возможность встречи с живущими на родине родственниками.

Результатом большого исследования стала рекламная кампания British Airways в 2013 года «Навести маму», целевой аудиторией которой стали индийцы, живущие в США и Канаде и рост доли перелетов с 7,1% до 10,4%.

В результате проведенной кампании British Airways увеличила долю перелетов из Северной Америки в Индию

На этапе доработки продукта или оффера

Проведение исследований и сбор важных для data driven сведений на этапе доработки позволяет скорректировать информацию о потребительском поведении, среднем чеке или сути конкретного товара/предложения.

ПримерУ бренда спортивной одежды Under Armour в 2013 году доля продаж женских коллекций составляла 17% от общих доходов бизнеса. Женская аудитория не воспринимала Under Armour в качестве дружелюбного по отношению к себе бренда, поэтому руководство решило провести репозиционирование.

В качестве основного концепта Under Armour взял на вооружение идею освобождения женщины от навязываемых обществом стереотипов и социальных ролей. Концепт был сформирован на базе обширного массива собранных данных о том, кем бы современные западные женщины хотели себя видеть. Позже была проведена широкая рекламная кампания, в основу которой легла история личного успеха Мисти Копленд, афроамериканской балерины Американского театра балета.

В результате кампании Under Armour получил более 5 млрд упоминаний в СМИ и в соцсетях, а продажи женской одежды выросли на 28%

На этапе увеличения конверсии

Методики data driven также помогают улучшить показатели конверсии в случае, когда люди уже приобрели товар или воспользовались услугами. Для этого проводятся исследования поведения клиентов с выяснением о том, как они узнали о компании, чем заинтересовались, как долго размышляли о покупке и т. д.

В результате «Альфа-банку» удалось увеличить число заявок на получение карты в 1,6 раз.

Наш чек-лист по оптимизации рекламных кампаний в Яндекс Директ найдете в этой статье:

Этап 5. Найти аналитика

Распространено два ошибочных мнения об аналитиках. Их воспринимают или как людей, которые разговаривает на непонятном языке, или как суперменов, которые должны решить все проблемы бизнеса.

Главная задача аналитика — сделать из данных деньги. Такой специалист знает, где искать проблемы, куда и по каким причинам уходит бюджет и подскажет пути, как зарабатывать больше. Но если бизнес находится на грани банкротства, аналитик может быть бессилен. Он только сможет рассказать, в какой момент начались проблемы и почему так произошло.

Аналитик должен уметь:

Этап 8. Обезопасить данные

Чем больше компания, тем большему количеству людей нужен доступ к данным. Иногда один отдел может понять, что какая-то информация ему не нужна, и удаляет столбец или файл. Но может быть, эти данные нужны были другому отделу. А иногда случайно удаляют базу целиком.

Чтобы такого не произошло, нужно настроить систему доступов, назначить ответственных, которые будут менять базу и сообщать другим об изменениях. Понадобится и ответственный технический специалист, который настроит хранилище, систему бэкапов, защиту от взломов и будет следить за тем, чтобы все работало.

Обычно на этом этапе появляется выделенная роль Data Engineer — человек, а потом и команда, который отвечает за поддержку и развитие инфраструктуры по работе с данными.

Этап 9. Визуализировать данные

Когда человек видит много таблиц и дашбордов, у него возникает иллюзия контроля. На деле невозможно считать хаотично разбросанные показатели. На хорошей визуализации собраны полные и корректные данные и все показатели видно на одном экране. Также важно, чтобы на визуализации были видны данные за длительный период. Иначе есть риск сделать неверные выводы.

Аналитик должен продумать визуализацию так, чтобы каждый пользователь мог быстро увидеть только интересующую его информацию, а руководитель — проанализировать положение бизнеса в целом.

Задача №1

Представьте себе, что у вас есть деньги. И вы эти деньги проинвестировали в активы.

Возможно, это ваш интернет-магазин и тогда активы — это маркетинговые каналы. Возможно, вы венчурный инвестор и тогда активы — это какие-нибудь стартапы. Вариантов может быть много.

Важно, что вы вложили деньги с чётко прописанной целью — окупиться за 1 календарный год.
Этот год прошёл, и пришло время смотреть на финансовый результат.

Он выглядит следующим образом:

Среднемесячные показатели приведены для того, чтобы не учитывать разную сезонность активов.

И дополнительный график:

Формулировка задачи

Укажите номер активов, в которых вы бы проинвестировали с аналогичной целью на следующий год.

Информация к размышлению

Стабильный крупный рынок предполагает, что ситуация год от года меняться будет не сильно.

В задачах на таком уровне детализации логично предположить, что расходы на следующий год в каждом активе будут примерно такими же.

Ответ 2:
Год на год не приходится, можно проинвестировать и в активы с лёгким минусом, возможно, в следующем году будет лучше. Кроме 1,2,5,9,10,11,12 можно добавить 3, 6,7,13,14

Ответ 3:
Давайте вернёмся к первому графику (доходы и расходы), посмотрим на него и поймём, что по расходам у нас активы разделяются на 3 категории: дорогие, средние и дешёвые.
При прочих равных имеет смысл инвестировать в более дешёвые активы. Риски (вероятность потерять вложенное) такие же, но рискуем мы меньшими суммами. У активов с номерами 3, 7 и 14 одинаковый ROI (-4%). Из них в портфель лучше взять номер 14 (меньшими суммами рискуем).

Как правильно выбирать метрики

Каждая метрика должна соответствовать бизнес-цели на том или ином этапе проведения кампании. Поэтому мы рекомендуем ориентироваться на несколько важных правил подбора метрик data driven:

Небольшое количество показателей

Для успешной оценки взятых на вооружение маркетинговых инструментов метрик не должно быть много — 3−5 на каждый этап бизнес-стратегии вполне достаточно.

Например, для оценки рекламной кампании достаточно видеть кликабельность (CTR), стоимость клика (CPC) и доход с каждого клика (RPC). На этапе рассылки электронных писем рекомендуем обращать внимание на показатели доставляемости (deliverability), открываемости писем (OR — Open Rate) и клики по ссылке в письме (CTR).

Анализ метрики будет наглядней, если сравнивать показатели во времени, по характеристикам групп пользователей или каналам продаж.

К примеру, вывод, что уровень конверсии повысился в 2 раза по сравнению с прошлым месяцем, дает нам больше, чем факт, что конверсия = 5%.

Этот принцип тесно связан с предыдущим: соотнося показатели друг с другом, мы упрощаем себе задачу в оценке долгосрочного тренда на том или ином этапе рекламной кампании, в понимании причин изменений и т. д.

Например, сравнивая процент конверсии новой воронки продаж с процентом конверсии в более старой воронке, мы определяем, что именно привело к изменениям. Сравнивать можно и две разные воронки, и две вариации одной и той же.

Для наглядности возьмем абстрактную ситуацию. Владелица салона красоты использовала в воронке на сайте в качестве конверсионного действия запись на процедуры по телефону. Конверсия этого призыва к действию ее не устроила, и она добавила акцию — скидку первым 15 позвонившим в определённые дни. В результате конверсия увеличилась в 1,5 раза.

Не использовать «метрики тщеславия»

Обычно это количественные метрики: трафик, число подписчиков, шерингов и т. д.

Эти показатели можно включать в отчеты, но нужно иметь в виду, что в сравнении с метриками качества (LTV, средний чек и др.) они не показательны. Метрики качества демонстрируют, насколько бизнес эффективен, тогда как метрики тщеславия просто отражают цифры, без привязки к значимым действиям пользователей.

Задача 4

Представьте, что у нас есть хороший приносящий деньги бизнес, за который не стыдно: у нас есть много лояльных клиентов. Например, у нас есть интернет-магазин и есть подписка с каталогом товаров, на которую законно и этично подписана большая аудитория. Они видят в своём почтовом ящике письмо от их любимого бренда, открывают его, смотрят описания товаров (акций, спецпредложений — ну чего-то), в конце письма есть кнопка “Купить” (нейтрального цвета как обычная кнопка в интерфейсе) после нажатия на которую переходим на сайт. Там уже можно что-то купить.

Продуктовой команде пришла в голову идея поднять продажи с помощью изменения цвета кнопки (нам опять повезло, не психология, не привязанность к бренду, не долгосрочные прогнозы, а продажи здесь и сейчас). Решили провести тест: разделили всю нашу лояльную (давшую согласия на обработку персональных данных и рекламную рассылку) аудиторию на три группы: контрольную (в которой примерно 90% аудитории) и две экспериментальных, с зелёной и красной кнопкой (примерно по 5%).

Ждём фиксированное время и смотрим на следующие результаты теста:

Зелёным подсвечены те результаты, где результат теста статистически лучше базового. Если бы где-то было статистически хуже — это было бы подсвечено красным.

Т.к. часть результатов может вызвать скепсис, немного пруфов из независимого источника (один из многих онлайн калькулятора A/B-тестов www.evanmiller.org/ab-testing/chi-squared.html):

Ваши дальнейшие действия

1. Провести A/A-тест
2. Оставить базовый вариант
3. Поставить вариант с зелёной кнопкой
4. Поставить вариант с красной кнопкой
5. Продолжить ABC-тест в других пропорциях
6. Для принятия решения недостаточно данных

Провести A/A-тест — это тот же A/B-тест, при котором двум частям аудитории показывается одно и то же. Разумеется, результаты должны быть статистически незначимы. Если это не выполняется, у нас явно есть проблемы в проведении теста.

Механизм тестирования может быть несовершенным.

Механика почтовой рассылки в данной задаче важна.

Иногда нужна ещё и внимательность.

В момент открытия письма пользователь не видит кнопки. Поэтому статистически значимый результат на красной кнопке — это что-то невообразимое. Либо мы плохо поделили пользователей (“плохой рандом”), либо в письме есть какая разница не только в кнопке, но и где-то ещё (время отправки, сегмент отправки, заголовок, “неравный тест”), либо 90% уровень значимости для нас недостаточен (“нам не повезло”). Лучше всего провести A/A-тест.

Значимый результат красной кнопки на самом деле не про кнопку. А вот зелёную стали жать лучше. На продажи это не повлияло, т.к. выборка маленькая. Но бизнес не ждёт, надо выкатывать какой-то результат, так что ставим зелёную кнопку и идём дальше.

Нам нужны продажи. Возможны случаи, как высокая конверсия в клик ведёт к низким продажам (например, когда мы обещаем что-то хорошее за копейки, а действительность оказывается хуже или значительно дороже). Вроде это не наш случай, всего лишь цвет кнопки. Но в некоторых областях (экзамены ПДД, футбол, переработка мусора и т.п.) зелёный цвет может вызвать неожиданные ассоциации и теоретически обрушить продажи. Т.к. оценить продажи на таких выборка объективно не получается, надо продолжить тест в других пропорциях: 90% отдать зелёной кнопке, по 5% красной кнопке и контрольной группе.

Пример с цветом кнопки очень теоретический. Хотя иногда небольшие мелочи могут действительно приводить к значимым результатам.
Главная проблема тестов — они требуют времени. Поэтому часто приходится принимать половинчатые решения: бизнес не будет ждать столько, столько нужно для полной уверенности.

Этап 7. Связать аналитика и IT в одну команду

Выгрузка баз данных напрямую зависит от качества работы IT. Аналитик и IT-специалист должны работать в связке, в идеале, без посредников. Некоторые компании выделяют специалиста, который работает только с базой данных.

Аналитик и IT решают проблемы выгрузки баз данных. Например:

Задача 5

Представим себе, что мы рулим каким-то никзомаржинальном высококонкурентном бизнесом, т.е. мы не можем раздавать скидки всем налево и направо, а любая наша ошибка приведёт к оттоку аудитории в конкурентам. Например, мы мобильный оператор из большой тройки. Или интернет-провайдер. Или парикмахерская.

На основании общих соображений мы формируем следующие сегменты нашей аудитории:
Новички — те, кто только что познакомился с продуктом.

Отток — те, кому наш продукт не понравился, они перестали им пользоваться

Лояльные — самые классные, они пользуются и они счастливы (возможно, даже рекомендуют нас друзьям)

Отток лояльности — пользователи, которые всё ещё “с нами”, но они несчастливы, активно ищут альтернативу и с радостью перейдут к тому, кто предоставим им более дешёвый или удобный сервис.

У мобильный операторов или банков этот сегмент особено велик: мало кто полностью доволен своим, но “переезд” чреват большими издержками и на него надо решиться.

Вы располагаете следующей информацией по динамике переходов из сегмента в сегмент:

Разница во времени между “было” и “стало” значительная для нашего продукта.

1. Ничего не предпринимать
2. Сделать скидку для новичков
3. Сделать скидку для тех, кто сейчас в сегменте “Лояльные”
4. Сделать скидку для тех, кто сейчас в сегменте “Отток лояльности”
5. Для принятия решения недостаточно данных

Делать хороший продукт, оптимизировать расходы, активно себя продвигать — само собой, так мы будем делать и без этой информации.

Дать скидку всем мы не сможем.

Удержать пользователя с помощью скидки в подавляющем большинстве случаев дешевле, чем привлечь нового пользователя.

Вполне возможно, что такое поведение нормально. Неплохо бы знать хотя бы примерно как у конкурентов.

Новичкам давать скидку не выгодно. Мы и так потратили много на их привлечение, а переход в отток сразу очень большой. Оттоку давать уже поздно, они нашли альтернативу. Обычно в таких случаях дают скидку оттоку лояльности, если получается быстро вычленить этот сегмент до того, как станет слишком поздно.

Судя по долям и динамике в нашем примере, давать скидку оттоку как раз поздно. Их мало и они быстро утекают. В данных (признаемся, достаточно редких в реальном мире) условиях лучше давать скидку лояльным

В данном конкретном случае возможно, следует либо поменять методику деления на лояльных и отток лояльности, либо ввести промежуточные градации, т.к. с таким “текучим” сегментом сложно работать.

Core Processes — Post Decision

«Даже самое лучшее решение имеет высокую вероятность оказаться неверным. Даже самое эффективное решение в конечном итоге устаревает».

Если мы признаем, что Peter F. Drucker прав, что даже лучшее решение может быть ошибочным, тогда мы должны признать, что хорошее решение может иметь плохой результат. Другими словами, качество решения должно оцениваться по достоинствам его процесса.

Ретроспектива решения — это возможность спросить, был ли процесс принятия решения обоснованным, а в случае плохого исхода определить, можно ли было сделать что-то еще. Обратите внимание, что даже при хорошем исходе процесс принятия решения мог быть плохим. Ретроспектива решений дает нам возможность внедрить непрерывное совершенствование в систему принятия решений.

Задача №2

После обсуждений сформулировали её максимально просто: заработать денег прямо сейчас. ( Редкий случай в реальной жизни, чаще всего цель заработать денег когда-нибудь потом, стимулировать повторные продажи, привязать к бренду или ликвидировать складские остатки).

Давайте считать, что мы по ценам и качеству в целом “в рынке” относительно наших конкурентов, наша сфера достаточно большая, стабильная и появилась не вчера, крупных внешних изменений за последние месяцы не произошло. Кроме того, не наблюдается изменений в структуре продаваемых товаров.

Оценивать действия маркетолога нужно по достижению поставленной цели.

Услуги (в отличие от классического ритейла “купи подешевле-продай подороже”) предполагают такую бизнес-модель, когда себестоимостью услуг можно пренебречь.

В отличие от реальной жизни, в данном примере мы не знаем специфики бизнеса, а она может быть важна. Но часто со спецификой можно ознакомиться с помощью данных, главное правильно задать вопрос.

Для того, чтобы оценить эффективность акции, нам нужно быть уверенным в том, что причиной роста продаж являются именно наши действия в маркетинге.

Есть версия о том, что тут работает обычная распродажа (сбросили цены — увеличили спрос), но для подтверждения этой мысли нам недостаточно данных.

Дополнительно поставленные условия исключают такое изменение спроса, как ожидаемое изменение спроса (например, мода) или действия конкурентов.

Но вполне возможно, что в октябре у нас может быть естественный сезонный рост (небольшой пик спроса в феврале при росте цен показывает, что такое возможно).

5. Для принятия решения недостаточно данных — мы хотим знать сезонность.
В идеале бы ещё — аналогичные графики для наших основных конкурентов (мечтать, конечно, не вредно, ладно, обойдёмся без этой информации).

Мы видим “ноль” на вертикальной оси на графике, т.е. нет никакой манипуляции с масштабом.

Величины, которые влияют на выручку (продажи и средний чек), отражены на одном графике, а значит легко увидеть их взаимодействие. Сценариев, когда одна величина уменьшается при росте другой, достаточно. На двух стоящих рядом графиках менее очевидные случаи могли быть незаметны.

В текущей задаче нас интересуют не точные цифры, а динамика, поэтому подписей на графиках минимум.

Визуализация Big Data

Если в традиционном «ручном» подсчете используется небольшое количество данных, то может возникнуть дискуссия относительно репрезентативности построенных на основе этих данных графиков и диаграмм. Зато одной из удобных особенностей методики Big Data является возможность построить объективную и наглядную визуализацию. Такая опция обеспечивает понятность полученных данных даже специалистам, которые далеки от понимания технологии.

Сгенерированные на основе Big Data графики и тепловые карты можно использовать в качестве неопровержимого аргумента. Это особенно важно, когда необходимо принять решение о распределении бюджета. Если на длительном временном промежутке влияние определенного явления не очевидно, визуализация поможет увидеть взаимосвязь между явлениями. Аналогично, визуализация данных помогает оценить масштаб эффекта после введения определенных мер.

Американское издание Wall Street Journal продемонстрировало эффект на население после внедрения различных вакцин. Наиболее показательным является тепловая карта по распространению полиомиелита. Данные собраны за 70 лет со всех 50 штатов США. Каждый прямоугольник обозначает количество заболеваний на 100 000 жителей.

Еще один наглядный пример визуализации показывает одновременно бюджет фильма, отношение кассовых сборов к бюджету и среднюю оценку кинокритиков. По шкале X отображена оценка кинокритиков на основании данных Rotten Tomatoes. Чем правее на шкале фильм, тем выше его оценка. Шкале Y показывает процентное соотношение мирового бокс-офиса к затраченным на производство средствам. Величина кругов — размер бюджета. Цвет кругов — жанр. В данном примере отобраны все голливудские фильмы 2016 года.

Из приведенного распределения можно сделать много выводов. Например, что мнение кинокритиков не влияет на коммерческий успех фильма. Или тот факт, что у крупнобюджетных кинокартин выше вероятность собрать кассу, которая вдвое превышает бюджет. Или тот факт, что некоторые малобюджетные хорроры становятся суперхитами.

Издание New York Times в 2014 году подготовило впечатляющую визуализацию из 255 графиков, каждый из которых отображает изменение в количестве рабочей силы в определенной индустрии за период с 2004 по 2013. Данные были подготовлены в связи со знаковым событием: к 2014 году в американской экономике были восстановлены 9 млн рабочих мест, утраченных в ходе экономического кризиса 2008−2009 годов. Интерактивный график показывает, в каких индустриях происходил рост, а в каких — падение числа рабочих мест.

Этап 2. Выбрать, какие именно данные собирать

Бизнес может собрать тысячи типов данных из разных источников. Но всю информацию нужно где-то хранить, обрабатывать и анализировать. А чем больше объем, тем дороже и сложнее это делать.

Ошибки, которые совершают компании, начиная работать с данными

Чтобы не засорять хранилище и быстро находить информацию, нужно собирать только данные, которые подходят для достижения цели. Если непонятно, какая информация нужна, можно собрать весь массив доступных данных за небольшой период, проанализировать его и выбрать нужное.

Например, бизнес поставил цель — клиент должен возвращаться в магазин за повторными покупками не реже, чем раз в полгода. Но компания не знает точно, какие данные нужны, чтобы строить стратегию. В течение месяца команда собирает все доступные данные о покупках и результатах акций, информацию о клиентах.

Качество данных можно проверить через ответы на вопросы:

Есть «метрики тщеславия». Это количественные выражения, которыми конкуренты «меряются». Например, количество трафика, шеринга, скачиваний. Большинство таких метрик не нужны для работы с данными. Гораздо важнее «метрики качества». Они показывают, насколько хорошо идут дела в бизнесе. К ним относятся средний чек, LTV, ROMI, ДРР и подобные.

Базовый набор бизнес-данных

Вот набор метрик, который нужен любому бизнесу вне зависимости от величины и сферы деятельности. Стартапы используют эти метрики, чтобы посчитать юнит-экономику и увидеть свою точку окупаемости, а уже сложившиеся компании — чтобы строить новые гипотезы роста на данных:

Пользовательские данные — основа оптимизации маркетинга

У бизнеса почти всегда есть проблемы в настройке сценариев от закупки трафика до продаж, потому что бизнес не работает с агрегированными пользовательскими данными.

Браузеры и рекламные системы ограничивают информацию о пользователях, которая нужна бизнесу. Это нужно, чтобы точнее настраивать сегменты в рекламных кампаниях, находить целевую аудиторию через соответствие с существующими клиентами, защищаться от каннибализации конверсий, то есть не платить по несколько раз в разных каналах за привлечение одного клиента.

Идентифицировать пользователей в разных сценариях сегодня помогает машинная обработка больших данных. Например, в Андата за сбор разрозненной информации в единый цифровой профиль из всех систем отвечает одна из наших патентованных технологий — «Цифровой паспорт клиента».

Важно не только собирать и тегировать такие данные, но и постоянно обновлять их — рынок динамичен и данные устаревают очень быстро.

В такой портрет входит не только демография и информация о местоположении пользователя. К нему относятся десятки параметров о поведении клиента в сети: какими устройствами и браузерами пользуется, как часто кликает рекламу, как ведет себя на ваших сайтах и в приложениях, и если это ваш клиент — что, когда и как покупает.

Читайте по теме

Переход к принятию решений на основе анализа данных занимает несколько месяцев. Можно считать, что компания перешла на Data Driven model, когда:

Ссылки

Все ссылки в этом спойлере

Мои другие публикации на Хабре

Технологии Big Data, в частности Data Mining, обеспечивают сбор, хранение и сортировку огромных объемных данных.

Веб-аналитика: Google Analytics, «Яндекс. Метрика», Google Tag Manager — инструменты собирают и хранят данные о пользователях сайтов и их поведении.

Сквозная аналитика оценивает эффективность и прибыльность рекламных каналов, например, Roistat, Mixpanel, Rick, Alytics и CoMagic.

CRM позволяет прогнозировать продажи или оценивать эффективность работы отдела маркетинга.

Инструменты позволяют принимать цепочки решений на основе данных, то есть каждое из них будет обдуманным и с прогнозируемым результатом.

Одна из самых доступных платформ для работы с массивами данных — «Битрикс24». Он объединяет в себе корпоративный портал, CRM, инструменты сквозной аналитики, Big Data и автоматизацию бизнеса. Пользователям доступны чат-боты, роботы в задачах, AI-скоринг для прогнозирования успешности сделок, интеграции с популярными коммерческими площадками, соцсетями, мессенджерами.

Платформа собирает все источники информации в одном месте и визуализирует их для последующего анализа и прогноза.

Сбор и анализ данных могут значительно улучшить процессы в вашей организации, если будут использоваться правильно и системно: на всем пути клиента, от формирования потребности до рекомендации знакомым. Подход Data Driven должен стать частью культуры вашей компании, каждого ее сотрудника.

Что дальше?

Эта статья охватывает очень много областей и не очень глубоко. Однако я надеюсь, что она поможет понять набор взаимосвязанных процессов в рамках простой структуры, которая поможет вам внедрить некоторые из основных концепций DI в корпоративный контекст. Я искренне надеюсь, что другие люди, стремящиеся объединить некоторые из этих идей в единую и консолидированную область DI, смогут воспользоваться этой работой, чтобы вдохновиться — даже если эта структура будет отброшена/переделана/адаптирована. Лично я буду внимательно наблюдать за этой областью и смотреть, как мы превращаем DI в «готовую к производству» практику, отвечающую вызовам нашего общего будущего.