Почему «точность» не подходит для моделей прироста (и что использовать вместо этого)

Когда речь идет о моделировании прироста (uplift modeling), традиционные метрики эффективности, обычно используемые для других задач машинного обучения, могут оказаться недостаточными.

Стандартные алгоритмы машинного обучения / бизнес-кейсы обучаются на обучающих данных, предсказывают цель на тестовых данных и сравнивают её с эталонным значением.

Однако в моделировании прироста концепция эталонного значения становится неуловимой, поскольку мы не можем одновременно наблюдать влияние обработки и отсутствия обработки на одного и того же индивида.

Как выбрать набор данных для валидации?

Выбор данных для обучения и тестирования модели прироста зависит от доступной информации и конкретного контекста.

Модели прироста обычно используются для маркетинговых кампаний. Давайте проиллюстрируем, как выбираются данные для валидации с этой точки зрения.

Если у нас есть одна кампания, мы можем разделить клиентов внутри этой кампании на обучающий и валидационный наборы.

Однако, если доступно несколько кампаний, мы можем использовать некоторые кампании для обучения модели, а другие зарезервировать для валидации. Эта стратегия позволяет модели обучаться на более широком диапазоне сценариев и потенциально улучшает её способность к обобщению.

Без этих важных компонентов точное определение прироста становится сложной задачей.

Основные подходы

Существует два основных способа оценки производительности модели прироста: накопленная прибыль (Cumulative Gain) и Qini. Давайте рассмотрим их:

Накопленная прибыль (Cumulative Gain):

Накопленная прибыль иллюстрирует постепенный прирост показателя отклика или результата, достигаемого путем таргетирования определенного процента населения.

Для расчета накопленной прибыли индивиды ранжируются на основе их показателей прироста, и отсортированный список делится на серию равных по размеру децилей или процентильных групп. Затем накопленная прибыль вычисляется путем суммирования результатов или откликов индивидов в каждой группе.

N : количество клиентов для контрольной (C) и экспериментальной (T) групп для первых p% клиентов

Y : Сумма нашего прироста в выбранной метрике для контрольной (C) и экспериментальной (T) групп для первых p% клиентов

Например, CG при 20% целевой аудитории соответствует общему приросту, если мы обрабатываем только экземпляры с топ 20% наивысших показателей.

В приведенном ниже примере мы наблюдаем, что таргетирование топ 20% клиентов с наивысшими показателями дает накопленную прибыль 0,019.

Более крутая кривая указывает на лучшую модель, поскольку она показывает, что более высокая доля индивидов с наивысшим предсказанным приростом является целевой.

Коэффициент Qini:

Коэффициент Qini работает на той же идее, что и накопленная прибыль, с одним ключевым отличием.

Формула для его расчета:

---

Это здорово, но как мы собираемся выбирать между различными моделями? Полагаться исключительно на эти кривые для выбора между различными моделями может быть не самым основанным на данных подходом.

Метрики качества

Существует три наиболее полезные метрики, которые могут нам помочь, и все они применимы как к подходам Qini, так и к накопленной прибыли.

Область под кривой прироста (AUC-U):

Подобно области под ROC-кривой (AUC-ROC) в традиционной классификации, AUC-U измеряет общую производительность модели прироста. Она рассчитывает область под кривой прироста / Qini, которая представляет накопленный прирост вдоль индивидов, отсортированных по предсказаниям модели прироста.

Uplift@K:

Uplift@K фокусируется на выявлении топ K% населения с наивысшим предсказанным приростом. Она измеряет долю действительно отзывчивых индивидов в этой выбранной группе. Более высокое значение uplift@K указывает на лучшую модель для таргетирования правильных индивидов.

В приведенном ниже примере Uplift@0,2 для первой модели составляет примерно 0,16, а для второй модели - 0,19, и выбор лучшей модели очевиден.

Когда эта метрика может помочь?

Максимальный прирост (Uplift max):

Максимальный прирост относится к максимальному приросту, достигнутому моделью. Он представляет разницу между экспериментальной и контрольной группами с наивысшими показателями прироста.

Заключение

Мы убедились, что традиционные метрики классификации и регрессии могут не адекватно измерять эффективность моделей прироста.

Чтобы преодолеть это, два основных подхода, CG и Qini, предлагают ценные метрики для оценки.

Крайне важно постоянно экспериментировать с различными вариациями и находить метрики, которые лучше всего соответствуют вашим целям. Исследуя и совершенствуя свой подход, вы можете эффективно измерять влияние моделей прироста и оптимизировать их производительность.

\n

\