Маркетинг-микс модель должна не только корректно объяснять прошлые продажи, но и прогнозировать, что произойдёт при изменении бюджета и медиамикса. Это — основа для оптимизации маркетинговых инвестиций, повышения ROI и LTV.

Поэтому мы проверяем 2 уровня точности:

1. Точность модели: насколько корректно она разделяет влияние рекламы, рынка, цены, промо, дистрибуции и других факторов.
2. Точность прогноза: насколько хорошо модель предсказывает результат на новых данных и при изменении условий.

В CUBE мы используем байесовские marketing mix models. Внутри них модель многократно оценивает возможные значения параметров и должна прийти к устойчивому результату.
Прежде чем анализировать прогнозы и бизнес-выводы, проверяем, что модель математически стабильна:

• корректно ли прошло обучение модели;
• сошлись ли результаты расчётов;
• нет ли ошибок и нестабильных оценок.

Если модель не проходит техническую проверку, до оценки маркетинговых результатов она не доходит.

На этом этапе мы проверяем, предсказывает ли модель будущее. Для этого используем:

• Метрики точности: R², MAPE, MAE, WAPE, CRPS и другие.
• Диагностику ошибок: проверяем модель на гетероскедастичность и автокорреляцию остатков.
• Оценку предсказания модели: проводим Posterior Predictive Checks — проверяем, насколько хорошо предсказания модели соответствуют исходным значениям.

Модель не должна быть точной только на тех данных, на которых её построили. Поэтому тестируем её на периодах, которые она раньше «не видела».

• Кросс-валидация: проверяем, сохраняется ли качество при разных обучающих периодах.
• Отложенная выборка: убираем последние недели из обучения и смотрим, насколько точно модель их спрогнозирует.
• Разный горизонт прогноза: проверяем, сохраняет ли модель точность не только на ближайших неделях, но и при более долгосрочном прогнозе.

Даже модель с хорошими метриками может давать неверные бизнес-выводы. Поэтому последний этап — проверка выводов здравым маркетинговым смыслом.

• Реалистичность результатов: соответствуют ли CPL, ROAS, вклад каналов и другие показатели реальным значениям в категории и на рынке.
• Логика реакции на изменение бюджета: адекватно ли модель оценивает последствия увеличения или сокращения инвестиций в каждый канал.
• Соответствие известным бизнес-фактам: не противоречит ли модель подтверждённым событиям, экспериментам и устойчивым закономерностям бизнеса клиента.

Только после прохождения технических, прогностических и бизнес-проверок маркетинг-микс модель можно использовать для оценки эффективности каналов, оптимизации медиамикса и планирования маркетинговых инвестиций.