Специалисты по данным считают бизнес-метрики более важными, чем технические метрики – но на практике они больше сосредоточены на технических. Это сбивает с пути большинство проектов. Почему?
Эрик Сигел
Прогнозный ИИ предлагает огромный потенциал – но имеет печально известную плохую репутацию. За пределами крупных технологических компаний и нескольких других ведущих компаний большинство инициатив не удается внедрить, и они никогда не реализуют свою ценность. Почему? Специалисты по данным не готовы продавать внедрение бизнесу. Технические показатели эффективности, о которых они обычно отчитываются, не соответствуют бизнес-целям – и ничего не значат для лиц, принимающих решения.
Чтобы заинтересованные стороны и специалисты по данным могли планировать, продавать и давать зеленый свет внедрению прогнозного ИИ, они должны установить и максимизировать ценность каждой модели машинного обучения с точки зрения бизнес-результатов, таких как прибыль, экономия – или любой KPI. Только измеряя ценность, проект может фактически стремиться к ценности. И только объединив бизнес и специалистов по данным на одной странице, ориентированной на ценность, инициатива может двигаться вперед и внедряться.
Почему бизнес-метрики так редки для проектов ИИ
Учитывая их важность, почему бизнес-метрики так редки? Исследования показали, что специалисты по данным знают лучше, но обычно не соблюдают: они ставят бизнес-метрики на первое место по важности, но на практике больше сосредоточены на технических метриках. Почему они обычно пропускают такой критический шаг – расчет потенциальной бизнес-ценности – что приводит к гибели их собственных проектов?
Это чертовски хороший вопрос.
Индустрия застряла в этой колее не только по психологическим и культурным причинам – хотя это и способствующие факторы. В конце концов, говорить о деньгах неловко и слишком "прямолинейно". Специалисты по данным чувствуют себя вынужденными придерживаться традиционных технических метрик, которые демонстрируют их опыт. Дело не только в том, что это заставляет их звучать умнее – жаргон является обычным способом для любой области защищать свое существование и зарплаты. Существует также распространенное, но ошибочное мнение, что не-количественники не способны по-настоящему понять количественные отчеты о прогнозной эффективности и будут только введены в заблуждение отчетами, предназначенными для общения на их простом бизнес-языке.
Но если бы это были единственные причины, "культурная инерция" уступила бы место годы назад, учитывая огромную бизнес-победу, когда модели машинного обучения успешно внедряются.
Проблема доверия: бизнес-предположения
Вместо этого, самая большая причина в следующем: любой прогноз бизнес-ценности сталкивается с вопросом доверия, потому что он должен основываться на определенных предположениях. Оценки ценности, которую модель могла бы захватить при внедрении, недостаточно. Расчет все еще должен доказать свою надежность, потому что он зависит от бизнес-факторов, которые подвержены изменениям или неопределенности, таких как:
- Денежные потери для каждого ложноположительного результата, например, когда модель помечает законную транзакцию как мошенническую. С транзакциями по кредитным картам, например, это может стоить около 100 $.
- Денежные потери для каждого ложноотрицательного результата, например, когда модель не помечает мошенническую транзакцию. С транзакциями по кредитным картам, например, это может стоить сумму транзакции.
- Факторы, влияющие на вышеуказанные два вида затрат. Например, при обнаружении мошенничества с кредитными картами, стоимость каждой необнаруженной мошеннической транзакции может быть уменьшена, если у банка есть страхование от мошенничества или если правоохранительная деятельность банка возмещает некоторые потери от мошенничества в дальнейшем. В этом случае стоимость каждого ложноотрицательного результата может составлять только 80% или 90% от размера транзакции. Этот процент имеет пространство для маневра при оценке развернутой ценности модели.
- Граница решения, то есть процент случаев, на которые нужно нацелиться. Например, должны ли быть заблокированы верхние 1,5% транзакций, которые модель считает наиболее вероятно мошенническими, или верхние 2,5%? Этот процент является границей решения (которая, в свою очередь, определяет порог решения). Хотя этот параметр обычно получает мало внимания, он часто оказывает большее влияние на ценность проекта, чем улучшения модели или данных. Его настройка – это бизнес-решение, управляемое бизнес-заинтересованными сторонами, представляющее фундаментальный принцип, который точно определяет, как модель будет использоваться при внедрении. Поворачивая эту ручку, бизнес может найти баланс в компромиссе между основной финансовой ценностью модели и количеством ложноположительных и ложноотрицательных результатов, а также другими KPI.
Установление доверия к прогнозам несмотря на неопределенность
Следующий шаг – принять экзистенциальное решение: избегать ли прогнозирования бизнес-ценности машинного обучения вообще? Это предотвратило бы открытие банки с червями. Или вы признаете оценку машинного обучения как вызов, который необходимо решить, учитывая острую необходимость рассчитать потенциальную выгоду от внедрения машинного обучения, чтобы достичь ее? Если это еще не очевидно, мой голос за последнее.
Чтобы решить этот вопрос доверия и установить доверие, необходимо учитывать влияние неопределенности. Попробуйте разные значения на крайних концах диапазона неопределенности. Взаимодействуйте таким образом с данными и отчетами. Выясните, насколько важна неопределенность и нужно ли ее как-то сузить, чтобы установить четкий случай для внедрения. Только с пониманием и интуицией о том, насколько большую разницу создают эти факторы, ваш проект может установить достоверный прогноз своей потенциальной бизнес-ценности – и тем самым надежно достичь внедрения.
Source: https://www.forbes.com/sites/ericsiegel/2025/09/10/how-to-un-botch-predictive-ai-business-metrics/
