El jefe de inteligencia artificial de Global Bank dice que Tokenmaxxing es una ‘métrica de vanidad’ | AI,ai,tokens,bnp-paribas,chief-ai-officer,roi,trending-uk,changing-workplace-big-bet

Durante el año pasado, Silicon Valley ha estado obsesionado con el “tokenmaxxing”, la idea de que maximizar el uso de la IA (y por lo tanto el consumo de tokens) debería hacer que los trabajadores sean más productivos.

Charles Holive mide algo completamente diferente.

El jefe de IA de BNP Paribas CIB, el brazo de banca de inversión de uno de los bancos más grandes de Europa, dijo a Business Insider que si bien su equipo monitorea el consumo de tokens, está lejos de ser lo primero que mira.

«Estamos tratando de alejarnos de las métricas de vanidad: miles de millones de tokens por día», dijo Holive a Business Insider en la cumbre Mistral AI en París la semana pasada.

«Estamos tratando de asegurarnos de que lo que estamos rastreando sea un resultado y no una métrica vanidosa», añadió.

En lugar de preguntar a los empleados cuántos tokens de IA han utilizado, Holive comienza con un conjunto diferente de preguntas.

“¿Qué has hecho que no hayas hecho antes?” ¿Qué tan rápido lo hiciste? dijo.

Resultados en tokens

Sus comentarios se producen cuando algunas empresas estadounidenses comienzan a cuestionar si los crecientes costos de la IA están produciendo retornos significativos.

Amazon recientemente cerró una clasificación interna sobre el uso de IA después de que supuestamente los empleados comenzaron a realizar tareas simplemente para escalar en la clasificación.

El director de operaciones de Uber, Andrew Macdonald, ha cuestionado públicamente si el aumento de los costos de la IA se traduce en productos más útiles, mientras que GitHub recientemente trasladó Copilot a precios basados ​​en el uso a medida que las facturas de la IA siguen aumentando.

Para los proyectos de inteligencia artificial que supervisa en BNP Paribas CIB, Holive dijo que comenzó con suposiciones explícitas sobre cuántos ingresos o productividad podrían generar.

Luego, su equipo crea KPI y monitorea el progreso mensual o trimestral en comparación con esos objetivos.

Eso no quiere decir que su equipo ignore por completo las fichas. Holive dijo que el banco todavía cuenta con equipos dedicados a monitorear el consumo de tokens para realizar un seguimiento de los costos.

«Luego analizamos el consumo de tokens porque necesito controlar mis costos», dijo.

Más allá del ranking

El enfoque de Holive se hace eco de los comentarios hechos por otros líderes en la cumbre.

Amit Kapur, jefe de IA y transformación de Tata Consultancy Services, dijo a Business Insider que las empresas deberían centrarse en los «resultados comerciales» y los «impactos comerciales» en lugar de «solo simbología».

Antoine Pichot, director de innovación, digital y datos de La Banque Postale, dijo a Business Insider que su banco evalúa los proyectos de IA en función de factores como el aumento de la eficiencia, la satisfacción del cliente, la satisfacción de los empleados y el impacto financiero.

No obstante, Holive dice que el uso de tokens aún puede ser útil como métrica de adopción, particularmente en ingeniería de software.

Pero dijo que su enfoque difiere del de las empresas que se centran en gran medida en las métricas de uso de la IA.

«No dijimos ‘usa la herramienta, haz tu mejor esfuerzo'», dijo. «Hicimos lo contrario», dijo.