AI 에이전트 자율성 연구, 검색 대비 컴퓨터 제어 세션 47배 길어져

AI 에이전트의 자율성과 효율성을 측정하는 연구가 실제 프로덕션 환경에서 수집된 데이터를 바탕으로 공개되었다. arXiv에 게재된 이 논문은 Perplexity의 검색 에이전트와 컴퓨터 제어 에이전트 사용 기록을 분석하여 에이전트 자율성, 작업 효율성, 그리고 작업 범위가 어떻게 달라지는지를 정량적으로 비교했다.

자율 작동 시간의 차이

연구에 따르면 컴퓨터 제어 에이전트 세션은 평균 26분간 자율적으로 작동했다. 이는 사용자 개입 없이 에이전트가 독립적으로 작업을 수행한 시간을 의미한다. 반면 검색 에이전트 세션의 자율 작동 시간은 평균 33초였다. 이는 약 47배의 차이로, 두 에이전트 유형이 요구하는 사용자 개입 수준과 작업 복잡도가 다르다는 점을 보여준다.

검색 에이전트는 일반적으로 단일 질의에 대한 응답을 생성하고 사용자에게 결과를 반환하는 구조로 설계된다. 사용자는 결과를 검토한 후 추가 질의를 입력하거나 작업을 종료하는 방식으로 상호작용한다. 이러한 구조는 본질적으로 짧은 자율 작동 주기를 갖는다. 반면 컴퓨터 제어 에이전트는 운영체제 수준에서 애플리케이션을 실행하고, 파일을 처리하며, 여러 단계의 작업을 연속적으로 수행할 수 있다. 이는 사용자가 초기 목표를 설정한 후 에이전트가 중간 단계를 독립적으로 처리하는 방식으로 작동하며, 결과적으로 더 긴 자율 작동 시간을 기록한다.

작업 완료 시간의 단축

논문은 또한 작업 완료 시간의 변화를 보고했다. 동일한 유형의 작업을 수행할 때, 검색 에이전트를 사용한 경우 평균 269분이 소요된 반면, 컴퓨터 제어 에이전트를 사용한 경우 평균 36분으로 줄었다. 이는 약 86.6%의 시간 절감을 의미하며, 에이전트의 자율성이 높아질수록 작업 효율성이 향상될 수 있음을 보여준다.

이러한 시간 단축은 여러 요인에서 비롯된다. 첫째, 컴퓨터 제어 에이전트는 여러 단계의 작업을 자동화할 수 있어 사용자가 각 단계마다 개입할 필요가 줄어든다. 둘째, 에이전트는 반복 작업을 빠르게 수행하며, 대기 시간이나 주의 분산 없이 연속적으로 작업을 진행한다. 셋째, 컴퓨터 제어 에이전트는 복잡한 워크플로우를 단일 명령으로 실행할 수 있어, 사용자가 여러 도구를 수동으로 전환하거나 중간 결과를 관리할 필요가 줄어든다.

지식 작업의 재구성

이 연구는 AI 에이전트가 지식 작업의 구조를 어떻게 변화시키는지에 대한 실증적 증거를 제공한다. 전통적으로 지식 작업은 정보 검색, 분석, 의사결정, 실행의 단계로 구성되며, 각 단계에서 인간의 판단과 개입이 필요했다. 검색 에이전트는 주로 정보 검색 단계를 지원하며, 나머지 단계는 여전히 사용자의 몫으로 남는다. 반면 컴퓨터 제어 에이전트는 정보 검색부터 실행까지 전체 워크플로우를 자동화할 수 있는 잠재력을 갖는다.

자율성의 증가는 작업 범위의 확장과도 연결된다. 검색 에이전트는 주로 정보 제공에 국한되지만, 컴퓨터 제어 에이전트는 문서 작성, 데이터 처리, 소프트웨어 실행, 시스템 관리 등 더 넓은 범위의 작업을 수행할 수 있다. 이는 에이전트가 단순한 도구에서 협업 파트너로 발전하고 있음을 시사한다.

운영 및 설계 함의

이 프로덕션 데이터 기반 연구는 AI 에이전트 설계와 배포에 중요한 시사점을 제공한다. 첫째, 자율성과 효율성 사이에는 관련성이 관찰된다. 에이전트가 더 오래 독립적으로 작동할 수 있을수록 전체 작업 시간이 짧아지는 경향이 있다. 이는 에이전트 설계 시 자율성을 핵심 지표로 고려할 수 있음을 의미한다.

둘째, 작업 유형에 따라 적합한 에이전트 아키텍처가 다르다. 단순 질의응답이나 정보 검색에는 검색 에이전트가 충분하지만, 복잡한 워크플로우나 여러 단계로 구성된 작업에는 컴퓨터 제어 에이전트가 더 적합할 수 있다. 제품 설계자는 사용자의 작업 특성을 분석하여 적절한 에이전트 유형을 선택할 수 있다.

셋째, 자율성이 높은 에이전트는 신뢰성과 안전성에 대한 요구사항도 높다. 26분간 독립적으로 작동하는 에이전트는 그 시간 동안 발생할 수 있는 오류, 예외 상황, 보안 위험을 처리할 수 있어야 한다. 이는 에이전트의 오류 처리, 상태 모니터링, 안전 장치 설계가 중요함을 의미한다.

넷째, 자율성 증가는 사용자 경험 설계에도 영향을 미친다. 짧은 검색 세션에서는 즉각적인 피드백이 중요하지만, 긴 자율 작동 세션에서는 진행 상황 표시, 중간 결과 확인, 필요 시 개입할 수 있는 인터페이스가 필요하다. 에이전트가 장시간 작동할 때 사용자가 다른 작업을 수행할 수 있도록 투명성과 제어 가능성을 제공해야 한다.

다섯째, 비용 구조도 달라진다. 26분간 작동하는 에이전트는 33초 작동하는 에이전트보다 더 많은 컴퓨팅 자원을 소비한다. 그러나 전체 작업 시간이 269분에서 36분으로 줄어든다면, 사용자 시간 절약과 생산성 향상을 고려할 때 비용 대비 효과를 평가할 수 있다. 운영자는 에이전트 실행 비용과 사용자 생산성 향상을 종합적으로 검토해야 한다.

불확실성과 제약

이 연구는 실제 프로덕션 데이터를 사용했다는 점에서 의미가 크지만, 몇 가지 제약도 존재한다. 첫째, 공개된 메타데이터만으로는 작업의 구체적인 유형, 성공률, 사용자 만족도 등을 파악하기 어렵다. 26분간 작동한 에이전트가 실제로 작업을 성공적으로 완료했는지, 중간에 오류가 발생했는지는 명확하지 않다.

둘째, Perplexity의 사용자 기반과 작업 특성이 일반적인 지식 작업을 대표하는지는 불확실하다. 특정 플랫폼의 데이터는 해당 플랫폼의 사용자 특성, 인터페이스 설계, 작업 유형에 영향을 받을 수 있다. 다른 도메인이나 사용자 집단에서는 자율 작동 시간과 효율성의 관계가 다르게 나타날 수 있다.

셋째, 자율 작동 시간과 작업 완료 시간의 관계가 선형적이지 않을 수 있다. 일부 작업은 긴 자율 작동 시간이 필요하지만 전체 완료 시간은 짧을 수 있고, 반대의 경우도 가능하다. 두 지표 간의 인과관계를 명확히 하려면 추가 분석이 필요하다.

넷째, 논문이 보고한 수치는 평균값이므로, 개별 세션의 변동성이나 분포 특성은 알 수 없다. 일부 컴퓨터 제어 세션은 수 분 내에 완료되었을 수도 있고, 일부는 수 시간 지속되었을 수도 있다. 이러한 변동성은 에이전트 설계와 운영에 중요한 정보를 제공할 수 있다.

향후 연구 방향

이 연구는 AI 에이전트의 자율성과 효율성을 측정하는 방법론을 제시했지만, 여러 후속 질문을 남긴다. 첫째, 자율 작동 시간과 작업 성공률의 관계는 무엇인가? 긴 자율 작동이 항상 높은 성공률을 의미하는지, 아니면 특정 임계값을 넘으면 오류 가능성이 증가하는지 파악해야 한다.

둘째, 어떤 작업 특성이 긴 자율 작동을 요구하는가? 작업의 복잡도, 단계 수, 불확실성 수준 등이 자율 작동 시간에 어떻게 영향을 미치는지 분석하면, 에이전트 설계와 작업 할당을 최적화할 수 있다.

셋째, 사용자는 긴 자율 작동을 어떻게 경험하는가? 26분간 에이전트가 작동하는 동안 사용자는 무엇을 하며, 어떤 정보를 원하고, 언제 개입하고 싶어 하는지 이해하면 더 나은 사용자 인터페이스를 설계할 수 있다.

넷째, 자율성과 제어 가능성의 균형점은 어디인가? 높은 자율성은 효율성을 높이지만, 사용자가 에이전트의 행동을 이해하고 필요 시 개입할 수 있는 능력을 제한할 수 있다. 최적의 균형점을 찾는 것이 중요하다.