El estudio sobre la autonomía de los agentes de IA muestra sesiones de control por computadora 47 veces más largas que las de búsqueda

Un nuevo estudio que mide la autonomía y la eficiencia de los agentes de IA ha sido publicado a partir de datos recopilados en entornos de producción reales. El artículo de arXiv analiza registros de uso de los agentes de búsqueda y de control por computadora de Perplexity, y ofrece una comparación cuantitativa de cómo difieren entre ambas modalidades la autonomía del agente, la eficiencia de la tarea y el alcance de las tareas.

Diferencias en el tiempo de operación autónoma

Según la investigación, las sesiones de los agentes de control por computadora operaron de forma autónoma durante un promedio de 26 minutos. Esto representa el tiempo durante el cual el agente trabajó de manera independiente, sin intervención del usuario. En contraste, las sesiones de los agentes de búsqueda promediaron solo 33 segundos de operación autónoma. Esta diferencia de aproximadamente 47 veces sugiere que ambos tipos de agentes requieren niveles distintos de intervención del usuario y manejan grados diferentes de complejidad de las tareas.

Los agentes de búsqueda suelen estar diseñados para generar respuestas a consultas individuales y devolver resultados a los usuarios. Los usuarios interactúan revisando los resultados y luego introduciendo consultas adicionales o finalizando la sesión. Esta estructura produce de manera inherente ciclos breves de operación autónoma. Los agentes de control por computadora, en cambio, pueden ejecutar aplicaciones a nivel del sistema operativo, procesar archivos y realizar tareas de varios pasos de forma secuencial. Operan cuando los usuarios establecen objetivos iniciales y luego gestionan de manera independiente los pasos intermedios, lo que da lugar a tiempos de operación autónoma más prolongados.

Reducción del tiempo de finalización de tareas

El artículo también informa cambios en el tiempo de finalización de tareas. Al realizar tipos de tareas equivalentes, los agentes de búsqueda requirieron un promedio de 269 minutos, mientras que los agentes de control por computadora completaron las mismas tareas en un promedio de 36 minutos. Esto representa un ahorro de tiempo de aproximadamente 86,6 % y muestra que una mayor autonomía del agente puede mejorar la eficiencia de las tareas.

Esta reducción de tiempo se deriva de varios factores. En primer lugar, los agentes de control por computadora pueden automatizar tareas de varios pasos, reduciendo la necesidad de intervención del usuario en cada etapa. En segundo lugar, los agentes pueden realizar tareas repetitivas con rapidez, avanzando de forma continua sin tiempos de espera ni distracciones. En tercer lugar, los agentes de control por computadora pueden ejecutar flujos de trabajo complejos con un solo comando, reduciendo la necesidad de que los usuarios cambien manualmente entre herramientas o gestionen resultados intermedios.

Reconfiguración del trabajo del conocimiento

Esta investigación aporta evidencia empírica de cómo los agentes de IA están cambiando la estructura del trabajo del conocimiento. Tradicionalmente, el trabajo del conocimiento consta de etapas que incluyen recuperación de información, análisis, toma de decisiones y ejecución, con necesidad de juicio e intervención humanos en cada una de ellas. Los agentes de búsqueda apoyan principalmente la etapa de recuperación de información, dejando las etapas restantes en manos de los usuarios. Los agentes de control por computadora, sin embargo, tienen el potencial de automatizar todo el flujo de trabajo, desde la recuperación de información hasta la ejecución.

El aumento de la autonomía también se vincula con una ampliación del alcance de las tareas. Los agentes de búsqueda se limitan principalmente a proporcionar información, pero los agentes de control por computadora pueden realizar una gama más amplia de tareas, entre ellas creación de documentos, procesamiento de datos, ejecución de software y administración de sistemas. Esto sugiere que los agentes están evolucionando de herramientas simples a socios de colaboración.

Implicaciones operativas y de diseño

Este estudio basado en datos de producción ofrece implicaciones importantes para el diseño y el despliegue de agentes de IA. En primer lugar, se observa una relación entre autonomía y eficiencia. Cuanto más tiempo puede operar un agente de forma independiente, menor tiende a ser el tiempo total de la tarea. Esto significa que la autonomía puede considerarse una métrica central en el diseño de agentes.

En segundo lugar, las arquitecturas de agentes apropiadas varían según el tipo de tarea. Los agentes de búsqueda son suficientes para preguntas y respuestas simples o para la recuperación de información, pero los agentes de control por computadora pueden ser más adecuados para flujos de trabajo complejos o tareas de varios pasos. Los diseñadores de producto pueden analizar las características de las tareas de los usuarios para seleccionar el tipo de agente apropiado.

En tercer lugar, los agentes con alta autonomía también tienen mayores requisitos de fiabilidad y seguridad. Un agente que opera de forma independiente durante 26 minutos debe poder gestionar errores, situaciones excepcionales y riesgos de seguridad que puedan surgir durante ese tiempo. Esto significa que el manejo de errores, la supervisión del estado y el diseño de mecanismos de seguridad son importantes.

En cuarto lugar, el aumento de la autonomía también afecta al diseño de la experiencia de usuario. En sesiones breves de búsqueda, la retroalimentación inmediata es importante, pero en sesiones largas de operación autónoma son necesarias interfaces para indicar el progreso, revisar resultados intermedios e intervenir cuando sea necesario. Deben proporcionarse transparencia y capacidad de control para que los usuarios puedan realizar otras tareas con confianza mientras el agente opera durante períodos prolongados.

En quinto lugar, las estructuras de costos también difieren. Un agente que opera durante 26 minutos consume más recursos informáticos que uno que opera durante 33 segundos. Sin embargo, si el tiempo total de la tarea desciende de 269 a 36 minutos, la relación costo-efectividad puede evaluarse a la luz del ahorro de tiempo del usuario y de las mejoras de productividad. Los operadores deben evaluar de manera integral los costos de ejecución del agente frente a las mejoras en la productividad del usuario.

Incertidumbre y limitaciones

Aunque este estudio es significativo por utilizar datos reales de producción, existen varias limitaciones. En primer lugar, con los metadatos publicados por sí solos resulta difícil determinar tipos específicos de tareas, tasas de éxito o satisfacción del usuario. No está claro si los agentes que operaron durante 26 minutos completaron realmente las tareas con éxito o si encontraron errores a mitad del proceso.

En segundo lugar, no está claro si la base de usuarios y las características de las tareas de Perplexity representan el trabajo del conocimiento en general. Los datos de plataformas específicas pueden verse influidos por las características de los usuarios de esa plataforma, el diseño de la interfaz y los tipos de tareas. La relación entre el tiempo de operación autónoma y la eficiencia puede diferir en otros dominios o poblaciones de usuarios.

En tercer lugar, la relación entre el tiempo de operación autónoma y el tiempo de finalización de la tarea puede no ser lineal. Algunas tareas pueden requerir largos tiempos de operación autónoma pero tener tiempos totales de finalización breves, y viceversa. Se necesita un análisis adicional para aclarar la relación causal entre estas dos métricas.

En cuarto lugar, las cifras informadas en el artículo son promedios, por lo que se desconocen la variabilidad o las características de distribución de las sesiones individuales. Algunas sesiones de control por computadora pueden haberse completado en minutos, mientras que otras pueden haber durado horas. Esta variabilidad podría aportar información importante para el diseño y las operaciones de los agentes.

Direcciones futuras de investigación

Este estudio presenta una metodología para medir la autonomía y la eficiencia de los agentes de IA, pero deja varias preguntas de seguimiento. En primer lugar, ¿cuál es la relación entre el tiempo de operación autónoma y la tasa de éxito de la tarea? Debe determinarse si una operación autónoma prolongada siempre implica altas tasas de éxito, o si la probabilidad de error aumenta más allá de ciertos umbrales.

En segundo lugar, ¿qué características de las tareas requieren una operación autónoma prolongada? Analizar cómo la complejidad de la tarea, el número de pasos y los niveles de incertidumbre afectan al tiempo de operación autónoma podría optimizar el diseño del agente y la asignación de tareas.

En tercer lugar, ¿cómo experimentan los usuarios la operación autónoma prolongada? Comprender qué hacen los usuarios durante 26 minutos de operación del agente, qué información desean y cuándo quieren intervenir podría permitir un mejor diseño de la interfaz de usuario.

En cuarto lugar, ¿dónde se sitúa el punto de equilibrio entre autonomía y controlabilidad? Una alta autonomía aumenta la eficiencia, pero puede limitar la capacidad de los usuarios para comprender el comportamiento del agente e intervenir cuando sea necesario. Encontrar el equilibrio óptimo es importante.

Implicaciones para los constructores

• Haga de la autonomía un objetivo central de diseño, pero diferencie los tiempos objetivo de operación autónoma según el tipo de tarea. Construya arquitecturas que admitan ciclos autónomos breves para tareas simples y ciclos autónomos prolongados para flujos de trabajo complejos. La automatización de flujos de trabajo de varios pasos, el manejo de excepciones y las capacidades de gestión de estado pueden ampliar el tiempo de operación autónoma.
• Construya infraestructura de fiabilidad para la operación autónoma prolongada. Diseñe recuperación de errores, supervisión del progreso, mecanismos de interrupción segura y sistemas de notificación al usuario para permitir que los agentes realicen tareas largas de manera fiable. Mida y mejore de forma continua el tiempo de operación autónoma, las tasas de éxito y la frecuencia de intervención del usuario en entornos de producción. Especialmente en sesiones que superen los 20 minutos, proporcione puntos de control intermedios y capacidades de reversión para que los errores no obliguen a reiniciar las tareas completas desde el principio.
• Diseñe interfaces de usuario que ofrezcan tanto autonomía como transparencia. En sesiones largas de operación autónoma, proporcione indicación del progreso en tiempo real, revisión de resultados intermedios y funciones de control para intervenir cuando sea necesario. Asegure la transparencia para que los usuarios puedan comprender y confiar en el comportamiento del agente, pero equilibre esto para no interrumpir a los usuarios con notificaciones excesivas. Implemente estrategias de notificación selectiva que alerten a los usuarios solo cuando los agentes tomen decisiones importantes o se enfrenten a situaciones inesperadas.