Un equipo de investigadores de Apple buscó comprender qué esperan los usuarios reales de los agentes de IA y cómo prefieren interactuar con ellos. Esto es lo que encontraron.
Apple explora las tendencias de UX en la era de los agentes de IA
En el estudio, titulado Mapeo del espacio de diseño de experiencia de usuario para agentes de escritorioUn equipo de cuatro investigadores de Apple dice que aunque el mercado ha invertido mucho en el desarrollo y evaluación de agentes de IA, se han descuidado ciertos aspectos de la experiencia del usuario: cómo los usuarios podrían querer interactuar con ellos y cómo deberían verse esas interfaces.
Para explorar esto, dividieron el estudio en dos fases: primero, identificaron patrones clave de UX y consideraciones de diseño que los laboratorios de IA han integrado en los agentes de IA existentes. Luego probaron y refinaron estas ideas mediante estudios prácticos de usuarios con un método interesante llamado El Mago de Oz.
Al observar cómo estos patrones de diseño resisten las interacciones de los usuarios en el mundo real, pudieron identificar qué diseños actuales de agentes de IA coinciden con las expectativas de los usuarios y cuáles se quedan cortos.
Fase 1: Taxonomía
Los investigadores analizaron nueve agentes de escritorio, móviles y web, entre ellos:
- Herramienta de uso informático Claude.
- Experto
- Operador OpenAI
- Alicia
- UI magnética
- UI-TARS
- Proyecto Marino
- TaxiIA
- AutoGLM
A continuación, consultaron a «8 profesionales que son diseñadores, ingenieros o investigadores que trabajan en UX o AI en una gran empresa de tecnología», lo que les ayudó a desarrollar una taxonomía integral con cuatro categorías, 21 subcategorías y 55 ejemplos de funciones que cubren las consideraciones clave de UX detrás de los agentes de AI que utilizan computadoras.
Las cuatro categorías principales incluyeron:
- Consulta de usuario: cómo los usuarios ingresan pedidos
- Explicabilidad de las actividades de los agentes.: qué información presentar al usuario sobre las acciones del agente
- control de usuario: cómo pueden intervenir los usuarios
- Modelo mental y expectativas.: Cómo ayudar a los usuarios a comprender las capacidades del agente
Esencialmente, este marco cubrió todo, desde los aspectos de la interfaz que permiten a los agentes presentar sus planes a los usuarios, hasta cómo comunican sus capacidades, detectan errores y permiten a los usuarios intervenir si surgen problemas.
Con todo esto en la mano, pasaron a la fase 2.
Fase 2: Estudio del Mago de Oz
Los investigadores reclutaron a 20 usuarios con experiencia previa con agentes de IA y les pidieron que interactuaran con un agente de IA a través de una interfaz de chat para completar una tarea de alquiler vacacional o una tarea de compra en línea.
Extracto del estudio:
A los participantes se les presentó una interfaz de chat de usuario falsa a través de la cual podían interactuar con un «agente» interpretado por el investigador. Durante este tiempo, al participante también se le presentó la interfaz de ejecución del agente, donde el investigador actuó como agente e interactuó con el UL en pantalla según el comando del participante. En la interfaz de usuario del chat, los participantes podían ingresar consultas de texto en lenguaje natural, que luego aparecían en el hilo del chat. Check out hgtgdfgdtr15. Luego, el «agente» comenzó la ejecución, donde el investigador controlaba el mouse y el teclado de su lado para simular las acciones del agente en la página web. Cuando el investigador completó la tarea, ingresó una tecla de acceso directo que mostraba un mensaje de «tarea completada» en el hilo de discusión. Durante la ejecución, los participantes podían usar un botón de interrupción para detener al agente y aparecía un mensaje de «agente interrumpido» en el chat.
Es decir, sin que los usuarios lo supieran, el agente de IA era en realidad un investigador sentado en la habitación de al lado, leyendo las instrucciones en texto y llevando a cabo la tarea solicitada.
Para cada tarea (alquiler vacacional o compras en línea), los participantes debían realizar seis funciones con la ayuda del agente de IA, algunas de las cuales fallaban intencionalmente (como quedarse atascados en un bucle de navegación) o cometían errores intencionales (como seleccionar algo diferente de las instrucciones del usuario).
Al final de cada sesión, los investigadores pidieron a los participantes que reflexionaran sobre su experiencia y sugirieran características o cambios para mejorar la interacción.
También analizaron grabaciones de video y registros de chat de cada sesión para identificar temas recurrentes en el comportamiento, las expectativas y los problemas del usuario durante la interacción con el agente.
Hallazgos principales
Una vez que todo está dicho y hecho, los investigadores descubrieron que los usuarios quieren tener visibilidad de lo que hacen los agentes de IA, pero no microgestionar cada paso, de lo contrario, podrían completar las tareas ellos mismos.
También concluyeron que los usuarios desean diferentes comportamientos de los agentes dependiendo de si están explorando opciones o realizando una tarea familiar. Asimismo, las expectativas de los usuarios cambian dependiendo de si están familiarizados con la interfaz o no. Cuanto menos familiarizados estaban, más querían transparencia, pasos intermedios, explicaciones y pausas de confirmación (incluso en escenarios de bajo riesgo).
También descubrieron que las personas quieren tener más control cuando sus acciones tienen consecuencias en el mundo real (como realizar compras, cambiar detalles de cuenta o de pago, o contactar a otros en su nombre), y también descubrieron que la confianza se rompe rápidamente cuando los agentes hacen suposiciones o errores silenciosos.
Por ejemplo, cuando el agente encontró opciones ambiguas en una página o se desvió del plan original sin indicarlo claramente, los participantes pidieron al sistema que hiciera una pausa y pidiera una aclaración, en lugar de simplemente elegir algo aparentemente al azar y seguir adelante.
En la misma línea, los participantes informaron de incomodidad cuando el agente no era transparente sobre su elección particular, especialmente cuando esa elección podía llevar a la selección del producto equivocado.
En general, este es un estudio interesante para los desarrolladores de aplicaciones que buscan adoptar funciones de agencia en sus aplicaciones, y puede leerlo en su totalidad. aquí.
