А пока подписывайся на мой канала Аналитика FM.
Его я веду с нуля подписчиков. В этом канале я публикую информацию об инструментах аналитика (SQL, Python)
О мышлении аналитика, о метриках, об ошибках. Публикую чек-листы по стандартным видам работы аналитика.
Присоединяйся!

Формула для метрик может выглядеть одинаково.
Но смысл метрики почти всегда зависит от бизнеса.

Возьмём простую вещь - Revenue (выручка).

Для интернет-магазина это деньги за заказы.
Для подписочного сервиса - выручка за период, иногда с учётом отложенных платежей.
Для маркетплейса - комиссия, а не сумма всех продаж.
Для финтеха - вообще может быть не тем, что платит клиент, а тем, что остаётся компании после всех операций.

Формально везде можно написать:

SUM(amount)

Но то, что именно лежит в amount, решает всё.

То же самое с конверсией.

В одном бизнесе конверсия - это "визит → покупка".
В другом — "регистрация → первый платёж".
В третьем — "лид → контракт через 3 месяца".

Цифра одна.
Слово одно.
А управленческие решения - совершенно разные.

Поэтому метрики не бывают универсальными.
Универсальными бывают названия, а не смыслы.

И именно здесь аналитика перестаёт быть "про формулы" и становится "про понимание бизнеса".

Одинаковая метрика в разных компаниях - это как одно и то же слово в разных языках.
Вроде знакомо, но если не знаешь контекста - легко ошибиться.

Кстати, в моём телеграм-канале Аналитика FM я как раз разбираю Revenue:
что под ним реально считают бизнесы и где чаще всего начинаются ошибки.
Если интересно копать глубже - буду рада видеть.

Есть метрики, которые принципиально живут без пользователя.

- Выручка за день.
- Количество заказов.
- Средний чек.
- Сумма транзакций по категориям.

Это агрегаты "по событиям".
Им не важно, кто именно сделал действие - важно, что действие произошло.

Бизнес часто живёт именно на этом уровне, и на старте ему кажется, что этого достаточно.

Проблемы с клиентскими метриками возникают в тот момент, когда появляется аналитика "на повторы".

- Повторные покупки.
- Возвраты клиентов.
- LTV.
- Retention.
- Конверсия по шагам воронки.

Все эти метрики - не про события.
Они про людей.

А без user_id "человек" в данных перестаёт существовать.

И когда user_id отсутствует, бизнес начинает выкручиваться.

Вместо user_id появляются:

• номер телефона

• email

• cookie

• device_id

• хэш паспорта

• комбинации из "телефон + дата рождения + регион"

Это не плохие решения.
Это компромиссы.

Каждый такой "заменитель пользователя" решает одну задачу и ломает другую.

Телефон:
- отлично для CRM
- плохо для веба и офлайна

Cookie:
- хорошо для сессий
- бесполезно для долгой аналитики

Email:
- стабилен
- но есть одноразовые email-ы

Device_id:
- у клиента может быть несколько устройств
- может жить до переустановки приложения
- может стоять запрет на трекинг

В итоге бизнес не считает "пользователей".
Он считает версии пользователей.

Из-за этого появляются странные эффекты:

• пользователей стало больше, но денег больше не стало

• retention упал, но продажи выросли

• конверсия пляшет, а поведение вроде то же

И это не всегда ошибка данных.
Это ограничение идентификации.

Важно понимать:
отсутствие user_id - это не техническая проблема, а продуктовая.

Она говорит о том, как система была спроектирована изначально:

• думали ли о пользователе как о сущности

• или думали только о событиях и операциях

Поэтому аналитика без user_id возможна.
Но она всегда:

• менее точная

• более приближённая

• и требует аккуратной интерпретации

Хуже всего - считать "пользовательские" метрики и делать вид, что всё ок.

Лучше честно сказать:

Мы считаем это так, потому что другого способа у нас нет

Данные могут существовать без user_id.
Запросы SQL может работать без user_id.
Отчёты можно построить без user_id.

Но аналитика поведения - нет.

НО... Главный НО...

Наличие user_id не спасет вас от того, что клиента "на входе" не идентифицировали и завели ему новый идентификатор. Либо при объединении клиентских баз у вас не задвоится один и тот же клиент.

Это повседневные процессы бизнеса. И уникальность клиента зависит от культуры ведения данных в базе, от технических процессов и бизнес процессов.

Для дедупликации клиентских записей существуют системы класса CDI (Customer Data Integration). Такие системы помогают идентифицировать клиента и вести его мастер карточку.

Ну а в моем канале Аналитика FM не только об инструментах аналитика, но и об аналитическом мышлении, метриках, логики.
Присоединяйся!

Только вот измерять не умеем. Ну, художественно можно описать такие степени: дрожит как осиновый лист - боится - все пофиг - зол - готов всех порвать, но это очень грубо и не объективно.

И поэтому не измеряем.

С точки зрения теории эксперимента и мат. статистики это означает, что мы берем некий фактор и перестаем его учитывать, объявляя связанные с ним колебания случайной величиной.

Т.е. при одном и том же количестве солдат, при одинаковом их вооружении - в одном случае получаем боеспособный взвод, в другом - небоеспособный, в третьем - слабо боеспособный, и такие типа не знаем, отчего это зависит. А то, что первый взвод набрали из мужиков, привыкших каждый день драться за ресурс, еду, женщину и т.д., второй - наловили бомжей по помойкам, а третий - из студентов, отчисленных за двойки - ну, это мы не учли. Патамушта в амириканской гумажке нет такой графы. А графы нет, патамушта измерить не можем.

В 19 веке археологи, искавшие кости динозавров и древние окаменелости, платили местным жителям за каждую найденную деталь. В итоге находчивые копатели специально разбивали целые, бесценные скелеты на мелкие кусочки, чтобы сдать их по отдельности и заработать побольше. Наука рыдала, зато KPI по «количеству находок» зашкаливал. Аналогичная трагедия произошла со Свитками Мертвого моря: бедуины разрезали найденные свитки на мелкие части, чтобы продать каждый фрагмент отдельно.

В США эта болезнь ударила по инфраструктуре. Когда строили Трансконтинентальную железную дорогу, правительство платило компании Union Pacific субсидии за каждую проложенную милю. В Небраске вместо прямого маршрута инженеры в едином коррупционном порыве вычертили огромную петлю — Oxbow Route. Лишние 9 миль крюка не имели никакого смысла для логистики, но принесли строителям сотни тысяч долларов «из воздуха».

Но если «петля» в Небраске — это просто воровство, то ошибки министра обороны США Роберта Макнамары — это уже трагедия. Будучи фанатом цифр и математических моделей, он пытался управлять войной во Вьетнаме как конвейером Ford.

Когда генерал Эдвард Лэндсдейл робко заметил, что в формулах Макнамары нет переменной «чувства и воля вьетнамского народа», министр записал это карандашом в блокнот. А потом стёр. Он сказал, что если что-то нельзя измерить, значит, оно неважно. Главной метрикой стал body count (подсчёт убитых). Офицеры на местах, желая выслужиться, начали записывать в «враги» всех подряд, рисуя в Вашингтоне иллюзию скорой победы, пока реальная ситуация катилась в бездну.

В науке есть радикальный принцип, похожий на бритву Оккама — «Пылающий лазерный меч Ньютона» (также известный как «Бритва Алдера»). Его суть: если что-то нельзя проверить экспериментом (или измерением), оно вообще не достойно обсуждения.

Звучит здраво для физики, но в жизни это прямой путь к тому, что социолог Даниэль Янкелович назвал деградацией восприятия. Он описал это как спуск по четырём ступеням:

1. Сначала мы измеряем только то, что легко измерить.

2. Затем игнорируем то, что измерить трудно или что требует качественной оценки.

3. Третий шаг — мы решаем, что то, что нельзя измерить, не так уж и важно.

4. И финальный шаг — мы объявляем, что того, что нельзя измерить, на самом деле не существует.

И в этот момент мы становимся слепыми. Мы смотрим на мир через замочную скважину метрик, пока в комнате за дверью разводят кобр, ломают кости динозавров и проигрывают войны.

Не мое, но очень беспокоит и надеюсь с этим буду сталкиваться как можно меньше.

Из комментариев, мне понравилось:

Про метрики Джеф Безос хорошо сформулировал. Любая метрика содержит некоторые допущения которые держал в голове автор метрики. А поэтому:

- метрика должна быть краткосрочной (пока допущения актуальны, а автор доступен)

- эффективнее сравнивать разницу между двумя положениями, а не оценивать абсолютные значения.

- если метрика противоречит наблюдениям, метрику надо менять. Удачная метрика получается не сразу, а через несколько итераций.

При правильном использовании, хороший инструмент который позволяет делегировать принятие тактических решений вниз, сохранив наверху контроль за общим направлением. И измеримые результаты сразу, а не в конце квартала.