Une étude sur l’autonomie des agents d’IA montre que les sessions de contrôle informatique durent 47 fois plus longtemps que la recherche

Une nouvelle étude mesurant l’autonomie et l’efficacité des agents d’IA a été publiée à partir de données recueillies dans des environnements de production réels. L’article arXiv analyse les journaux d’utilisation des agents de recherche et des agents de contrôle informatique de Perplexity, offrant une comparaison quantitative de la manière dont l’autonomie des agents, l’efficacité des tâches et le périmètre des tâches diffèrent entre ces deux modalités.

Différences dans le temps de fonctionnement autonome

Selon la recherche, les sessions des agents de contrôle informatique ont fonctionné de manière autonome pendant 26 minutes en moyenne. Cela correspond au temps pendant lequel l’agent a travaillé de façon indépendante, sans intervention de l’utilisateur. À l’inverse, les sessions des agents de recherche n’ont affiché qu’un temps de fonctionnement autonome moyen de 33 secondes. Cet écart d’environ 47 fois suggère que les deux types d’agents nécessitent des niveaux différents d’intervention utilisateur et prennent en charge des degrés de complexité de tâche différents.

Les agents de recherche sont généralement conçus pour générer des réponses à des requêtes uniques et renvoyer des résultats aux utilisateurs. Les utilisateurs interagissent en examinant les résultats, puis en saisissant des requêtes supplémentaires ou en mettant fin à la session. Cette structure produit intrinsèquement des cycles de fonctionnement autonome courts. Les agents de contrôle informatique, en revanche, peuvent exécuter des applications au niveau du système d’exploitation, traiter des fichiers et effectuer des tâches en plusieurs étapes de manière séquentielle. Ils fonctionnent en permettant aux utilisateurs de définir des objectifs initiaux, puis en prenant en charge de manière indépendante les étapes intermédiaires, ce qui se traduit par des temps de fonctionnement autonome plus longs.

Réduction du temps d’achèvement des tâches

L’article fait également état de changements dans le temps d’achèvement des tâches. Lors de l’exécution de types de tâches appariés, les agents de recherche ont nécessité en moyenne 269 minutes, tandis que les agents de contrôle informatique ont achevé les mêmes tâches en 36 minutes en moyenne. Cela représente environ 86,6 % d’économie de temps et montre qu’une autonomie plus élevée des agents peut améliorer l’efficacité des tâches.

Cette réduction du temps découle de plusieurs facteurs. Premièrement, les agents de contrôle informatique peuvent automatiser des tâches en plusieurs étapes, réduisant ainsi le besoin d’intervention de l’utilisateur à chaque phase. Deuxièmement, les agents peuvent exécuter rapidement des tâches répétitives, en avançant de manière continue sans temps d’attente ni dispersion de l’attention. Troisièmement, les agents de contrôle informatique peuvent exécuter des flux de travail complexes à l’aide de commandes uniques, réduisant ainsi la nécessité pour les utilisateurs de basculer manuellement entre les outils ou de gérer les résultats intermédiaires.

Reconfiguration du travail de connaissance

Cette recherche fournit des preuves empiriques de la manière dont les agents d’IA modifient la structure du travail de connaissance. Traditionnellement, le travail de connaissance comprend des étapes telles que la recherche d’informations, l’analyse, la prise de décision et l’exécution, avec un besoin d’intervention et de jugement humain à chaque étape. Les agents de recherche soutiennent principalement l’étape de recherche d’informations, laissant les autres étapes aux utilisateurs. Les agents de contrôle informatique, en revanche, ont le potentiel d’automatiser l’ensemble du flux de travail, de la recherche d’informations à l’exécution.

L’augmentation de l’autonomie est également liée à l’élargissement du périmètre des tâches. Les agents de recherche sont principalement limités à la fourniture d’informations, tandis que les agents de contrôle informatique peuvent effectuer un éventail plus large de tâches, notamment la création de documents, le traitement de données, l’exécution de logiciels et l’administration système. Cela suggère que les agents évoluent d’outils simples vers des partenaires collaboratifs.

Implications opérationnelles et de conception

Cette étude fondée sur des données de production offre des implications importantes pour la conception et le déploiement des agents d’IA. Premièrement, une relation est observée entre autonomie et efficacité. Plus un agent peut fonctionner de manière indépendante pendant longtemps, plus le temps total de la tâche tend à être court. Cela signifie que l’autonomie peut être considérée comme une métrique centrale dans la conception des agents.

Deuxièmement, les architectures d’agents appropriées varient selon le type de tâche. Les agents de recherche suffisent pour des questions-réponses simples ou la recherche d’informations, mais les agents de contrôle informatique peuvent être plus adaptés aux flux de travail complexes ou aux tâches en plusieurs étapes. Les concepteurs de produits peuvent analyser les caractéristiques des tâches des utilisateurs afin de sélectionner le type d’agent approprié.

Troisièmement, les agents hautement autonomes ont également des exigences plus élevées en matière de fiabilité et de sécurité. Un agent fonctionnant de manière indépendante pendant 26 minutes doit être capable de gérer les erreurs, les situations exceptionnelles et les risques de sécurité susceptibles de survenir pendant cette période. Cela signifie que la gestion des erreurs, la surveillance de l’état et la conception de mécanismes de sécurité sont importantes.

Quatrièmement, l’augmentation de l’autonomie affecte également la conception de l’expérience utilisateur. Dans les courtes sessions de recherche, un retour immédiat est important, mais dans les longues sessions de fonctionnement autonome, des interfaces permettant d’indiquer la progression, de vérifier les résultats intermédiaires et d’intervenir si nécessaire sont indispensables. La transparence et la contrôlabilité doivent être assurées afin que les utilisateurs puissent effectuer d’autres tâches en toute confiance pendant que l’agent fonctionne sur de longues périodes.

Cinquièmement, les structures de coûts diffèrent également. Un agent fonctionnant pendant 26 minutes consomme davantage de ressources informatiques qu’un agent fonctionnant pendant 33 secondes. Toutefois, si le temps total de la tâche passe de 269 à 36 minutes, le rapport coût-efficacité peut être évalué à la lumière du gain de temps pour l’utilisateur et des gains de productivité. Les opérateurs doivent évaluer de manière globale les coûts d’exécution des agents par rapport aux améliorations de productivité des utilisateurs.

Incertitudes et limites

Bien que cette étude soit importante en raison de l’utilisation de données de production réelles, plusieurs limites existent. Premièrement, les métadonnées publiées seules rendent difficile la détermination des types de tâches spécifiques, des taux de réussite ou de la satisfaction des utilisateurs. Il n’est pas clair si les agents ayant fonctionné pendant 26 minutes ont effectivement achevé les tâches avec succès ou s’ils ont rencontré des erreurs en cours de route.

Deuxièmement, il n’est pas certain que la base d’utilisateurs et les caractéristiques des tâches de Perplexity représentent le travail de connaissance en général. Les données provenant de plateformes spécifiques peuvent être influencées par les caractéristiques des utilisateurs de cette plateforme, la conception de l’interface et les types de tâches. La relation entre le temps de fonctionnement autonome et l’efficacité peut différer dans d’autres domaines ou auprès d’autres populations d’utilisateurs.

Troisièmement, la relation entre le temps de fonctionnement autonome et le temps d’achèvement des tâches peut ne pas être linéaire. Certaines tâches peuvent nécessiter de longs temps de fonctionnement autonome tout en ayant des temps d’achèvement totaux courts, et inversement. Des analyses supplémentaires sont nécessaires pour clarifier la relation causale entre ces deux métriques.

Quatrièmement, les chiffres rapportés dans l’article sont des moyennes, de sorte que la variabilité ou les caractéristiques de distribution des sessions individuelles restent inconnues. Certaines sessions de contrôle informatique ont peut-être été achevées en quelques minutes, tandis que d’autres ont pu durer des heures. Cette variabilité pourrait fournir des informations importantes pour la conception et l’exploitation des agents.

Orientations de recherche futures

Cette étude présente une méthodologie pour mesurer l’autonomie et l’efficacité des agents d’IA, mais elle laisse plusieurs questions de suivi. Premièrement, quelle est la relation entre le temps de fonctionnement autonome et le taux de réussite des tâches ? Il faut déterminer si un long fonctionnement autonome signifie toujours un taux de réussite élevé, ou si la probabilité d’erreur augmente au-delà de certains seuils.

Deuxièmement, quelles caractéristiques des tâches exigent un long fonctionnement autonome ? L’analyse de la manière dont la complexité de la tâche, le nombre d’étapes et les niveaux d’incertitude influencent le temps de fonctionnement autonome pourrait optimiser la conception des agents et l’allocation des tâches.

Troisièmement, comment les utilisateurs vivent-ils un long fonctionnement autonome ? Comprendre ce que font les utilisateurs pendant 26 minutes de fonctionnement de l’agent, quelles informations ils souhaitent obtenir et à quel moment ils souhaitent intervenir pourrait permettre une meilleure conception de l’interface utilisateur.

Quatrièmement, où se situe le point d’équilibre entre autonomie et contrôlabilité ? Une autonomie élevée améliore l’efficacité, mais peut limiter la capacité des utilisateurs à comprendre le comportement de l’agent et à intervenir lorsque cela est nécessaire. Trouver l’équilibre optimal est important.