Los científicos de datos consideran las métricas de negocio más importantes que las métricas técnicas – pero en la práctica se centran más en las técnicas. Esto descarrila la mayoría de los proyectos. Entonces, ¿por qué?
Eric Siegel
La IA predictiva ofrece un potencial enorme – pero tiene un historial notoriamente pobre. Fuera de las grandes tecnológicas y un puñado de otras empresas líderes, la mayoría de las iniciativas fracasan en su implementación, sin llegar nunca a realizar su valor. ¿Por qué? Los profesionales de datos no están equipados para vender la implementación al negocio. Las métricas de rendimiento técnico sobre las que normalmente informan no se alinean con los objetivos de negocio – y no significan nada para los tomadores de decisiones.
Para que tanto las partes interesadas como los científicos de datos puedan planificar, vender y dar luz verde a la implementación de IA predictiva, deben establecer y maximizar el valor de cada modelo de aprendizaje automático en términos de resultados de negocio como beneficios, ahorros – o cualquier KPI. Solo midiendo el valor puede el proyecto realmente perseguir valor. Y solo consiguiendo que los profesionales de negocio y datos estén en la misma página orientada al valor, la iniciativa puede avanzar e implementarse.
Por qué las métricas de negocio son tan raras en los proyectos de IA
Dada su importancia, ¿por qué las métricas de negocio son tan raras? La investigación ha demostrado que los científicos de datos saben lo que es mejor, pero generalmente no lo cumplen: Clasifican las métricas de negocio como las más importantes, pero en la práctica se centran más en las métricas técnicas. ¿Por qué suelen saltarse un paso tan crítico – calcular el valor potencial del negocio – para desgracia de sus propios proyectos?
Esa es una muy buena pregunta.
La industria no está estancada en esta rutina solo por razones psicológicas y culturales – aunque esos son factores contribuyentes. Después de todo, es de mal gusto y demasiado "directo" hablar de dinero. Las profesiones de datos se sienten obligadas a ceñirse a las métricas técnicas tradicionales que ejercitan y demuestran su experiencia. No es solo que esto les haga sonar más inteligentes – siendo la jerga una forma común para cualquier campo de defender su propia existencia y salarios. También existe una creencia común pero equivocada de que los no cuantitativos son incapaces de entender realmente los informes cuantitativos de rendimiento predictivo y solo serían engañados por informes destinados a hablar en su lenguaje de negocio directo.
Pero si esas fueran las únicas razones, la "inercia cultural" habría sucumbido hace años, dado el enorme éxito empresarial cuando los modelos de ML se implementan con éxito.
El desafío de credibilidad: Suposiciones de negocio
En cambio, la razón más importante es esta: Cualquier previsión de valor de negocio se enfrenta a una cuestión de credibilidad porque debe basarse en ciertas suposiciones. Estimar el valor que un modelo capturaría en la implementación no es suficiente. El cálculo todavía tiene que demostrar su fiabilidad, porque depende de factores de negocio que están sujetos a cambios o incertidumbre, como:
- La pérdida monetaria por cada falso positivo, como cuando un modelo marca una transacción legítima como fraudulenta. Con transacciones de tarjeta de crédito, por ejemplo, esto puede costar alrededor de $100.
- La pérdida monetaria por cada falso negativo, como cuando un modelo no logra marcar una transacción fraudulenta. Con transacciones de tarjeta de crédito, por ejemplo, esto puede costar el monto de la transacción.
- Factores que influyen en los dos costos anteriores. Por ejemplo, con la detección de fraude con tarjeta de crédito, el costo por cada transacción fraudulenta no detectada podría reducirse si el banco tiene seguro contra fraude o si las actividades de aplicación del banco recuperan algunas pérdidas por fraude posteriormente. En ese caso, el costo de cada FN podría ser solo el 80% o 90% del tamaño de la transacción. Ese porcentaje tiene margen de maniobra al estimar el valor implementado de un modelo.
- El límite de decisión, es decir, el porcentaje de casos a ser objetivo. Por ejemplo, ¿deberían bloquearse el 1,5% superior de las transacciones que el modelo considera más probables de ser fraudulentas, o el 2,5% superior? Ese porcentaje es el límite de decisión (que a su vez determina el umbral de decisión). Aunque esta configuración tiende a recibir poca atención, a menudo tiene un mayor impacto en el valor del proyecto que las mejoras al modelo o datos. Su configuración es una decisión de negocio impulsada por las partes interesadas del negocio, representando un fundamento que define precisamente cómo se utilizará un modelo en la implementación. Al girar esta perilla, el negocio puede lograr un equilibrio en la compensación entre el valor monetario/de línea de fondo primario de un modelo y el número de falsos positivos y falsos negativos, así como otros KPIs.
Estableciendo la credibilidad de las previsiones a pesar de la incertidumbre
El siguiente paso es tomar una decisión existencial: ¿Evitas pronosticar el valor de negocio del valor de ML por completo? Esto evitaría abrir una caja de pandora. ¿O reconoces la valoración de ML como un desafío que debe abordarse, dada la urgente necesidad de calcular el potencial beneficio de la implementación de ML para lograrlo? Si no es ya obvio, mi voto es por lo segundo.
Para abordar esta cuestión de credibilidad y establecer confianza, se debe tener en cuenta el impacto de la incertidumbre. Prueba diferentes valores en los extremos del rango de incertidumbre. Interactúa de esa manera con los datos y los informes. Descubre cuánto importa la incertidumbre y si debe reducirse de alguna manera para establecer un caso claro para la implementación. Solo con perspicacia e intuición sobre cuánta diferencia hacen estos factores, tu proyecto puede establecer una previsión creíble de su valor potencial de negocio – y así lograr de manera confiable la implementación.
Source: https://www.forbes.com/sites/ericsiegel/2025/09/10/how-to-un-botch-predictive-ai-business-metrics/
