Le pregunté a 4 ejecutivos cómo miden el ROI de la IA. Ninguno comenzó con tokens de IA. | AI,ai,roi,tokens,mistral,trending-uk,changing-workplace-big-bet

Silicon Valley ha pasado el último año transformando el uso de la IA en un panel de control.

Pero después de preguntar a cuatro ejecutivos sobre cómo miden el ROI de la IA En la cumbre de IA de Mistral celebrada en París el mes pasado, noté algo sorprendente: ninguno de ellos empezó hablando de la cantidad de tokens de IA utilizados por los empleados.

Charles Holive, director de IA de BNP Paribas CIB, dijo que su equipo se centra en los resultados en lugar de lo que él llama “métricas de vanidad”.

«Estamos tratando de alejarnos de las medidas de vanidad: miles de millones de tokens por día», dijo. «Tratamos de asegurarnos de que lo que rastreamos sea un resultado y no una métrica vanidosa».

En lugar de preguntar cuántos tokens de IA han usado los empleados, Holive dijo que pregunta: «¿Qué has hecho que no hayas hecho antes?» ¿Qué tan rápido lo hiciste?

Antoine Pichot, director de innovación, digital y datos de La Banque Postale, dijo a Business Insider que el banco mide la IA en función de si hace que los empleados sean más eficientes, mejora el servicio al cliente y ofrece una buena relación calidad-precio.

Amit Kapur, director de IA y transformación de Tata Consultancy Services, una de las firmas de consultoría y servicios de TI más grandes del mundo, dijo que su enfoque se centra en si la IA mejora el desempeño empresarial en lugar de cuántos tokens consumen los empleados..

Mientras tanto, Sujay Bhattacharya, director general ejecutivo de NTT DATA y director global de Digital Workplace Services y Mistral AI, que ayuda a las grandes empresas a adoptar herramientas de IA de múltiples proveedores de IA, dijo que sus clientes miran cada vez más más allá de la cantidad de tokens y se centran en el costo general y el valor comercial de los proyectos de IA.

La reacción contra el “tokenmaxxing”

Los comentarios hechos en la cumbre de IA de Mistral se producen cuando algunas empresas estadounidenses comienzan a alejarse del «tokenmaxxing»: la idea de que un mayor uso de la IA y un mayor consumo de tokens conduce automáticamente a una mayor productividad.

Amazon cerró una clasificación interna sobre el uso de IA el mes pasado después de que los empleados comenzaron a realizar tareas simplemente para escalar en la clasificación.

Andrew Macdonald, director de operaciones de Uber, cuestionó públicamente si un mayor gasto en IA produce productos más útiles, diciendo que sigue siendo difícil trazar una línea directa entre el consumo de tokens y el valor para el cliente.

Mientras tanto, OpenAI, Anthropic y GitHub han avanzado hacia precios basados ​​en el uso para las empresas, ejerciendo más presión sobre los empleados de las empresas clientes para demostrar que un mayor uso de la IA genera retornos significativos.

El alejamiento del tokenmaxxing no significa que las empresas hayan dejado de rastrear el uso de tokens de IA.

Holive dijo que su equipo en BNP Paribas CIB continúa monitoreando el consumo de tokens para controlar los costos y medir la adopción.

Pero todos los ejecutivos con los que hablé en París parecían estar de acuerdo en una cosa: si bien los tokens pueden indicar cuánta IA se está utilizando, no necesariamente indican si está generando un retorno de la inversión tangible.