Preguntas más frecuentes sobre la herramienta de uso del equipo

Estas preguntas frecuentes (FAQ) proporcionan información sobre las funcionalidades, el uso, las limitaciones y las medidas de seguridad que debe tener en cuenta cuando agregue la herramienta de uso de computadoras a los agentes de Copilot Studio.

¿Cuál es la herramienta de uso del equipo?

El uso del ordenador es una herramienta que se puede agregar a los agentes de Copilot Studio, los cuales están diseñados para automatizar tareas en sitios web y aplicaciones. Proporcione descripciones de tareas en lenguaje natural y la herramienta automatiza los clics del mouse y las acciones de teclado en consecuencia. Por ejemplo, podría indicar a la herramienta que abra un PDF y use su contenido para rellenar un formulario web. La herramienta interpreta visualmente la pantalla y ejecuta los clics y pulsaciones de tecla necesarios, emulando interacciones humanas.

¿Qué puede hacer la herramienta para el uso de computadoras?

La herramienta de uso del ordenador procesa los datos de píxeles de pantalla para comprender el contenido en pantalla, y realiza tareas mediante clics de ratón virtuales y entradas mediante el teclado. La herramienta puede gestionar flujos de trabajo en varios pasos, gestionar escenarios inesperados y adaptarse dinámicamente a los cambios en pantalla, lo que le permite realizar diversas tareas digitales como navegar por sitios web y rellenar formularios sin necesidad de APIs especializadas.

La herramienta de uso del equipo sigue un bucle iterativo basado en tres pasos:

• Percepción: captura capturas de pantalla para comprender visualmente el estado actual de la pantalla del equipo.

• Razonamiento: evalúa el estado actual, las acciones anteriores y las capturas de pantalla a través de un enfoque de cadena de pensamiento, que le permite adaptar sus acciones de forma eficaz.

• Acción: realiza acciones como hacer clic, escribir o desplazarse hasta que se complete la tarea o requiera una entrada adicional del usuario.

¿Cuáles son los usos previstos de la herramienta de uso del ordenador?

La herramienta de uso del equipo está pensada para automatizar las interacciones de usuario con sitios web y aplicaciones a través de un mouse virtual y un teclado, especialmente útiles en escenarios en los que las API no están disponibles.

¿Cómo se evaluó la herramienta de uso del equipo? ¿Qué métricas se usan para medir el rendimiento?

La herramienta de uso de equipos se evaluó rigurosamente mediante escenarios reales a lo largo de sus fases de diseño, desarrollo e implementación. Los métodos de evaluación incluían investigaciones, estudios de impacto y pruebas en diferentes escenarios para medir la precisión, la confianza del usuario y la utilidad. Las métricas cualitativas y cuantitativas se supervisan periódicamente para mantener un alto rendimiento y una experiencia positiva del usuario. La disponibilidad de la herramienta también se garantiza cumpliendo con los SLAs establecidos.

¿Cuáles son las limitaciones de la herramienta de uso del equipo? ¿Cómo pueden los usuarios minimizar el impacto de las limitaciones de la herramienta de uso del ordenador al usar el sistema?

El uso de equipos es una tecnología innovadora con riesgos de seguridad conocidos y limitaciones funcionales. Le estamos facultando para llevar a cabo experimentos con ello. Esta funcionalidad de fase temprana permite la automatización de determinadas tareas basadas en equipos, aunque su rendimiento varía en gran medida según el caso de uso. Para usarla de forma eficaz y responsable, hay que entender sus limitaciones actuales.

Limitaciones conocidas

• La tasa de éxito varía según la tarea: la herramienta funciona mejor en las tareas basadas en web (aproximadamente 80% éxito), pero disminuye significativamente en las aplicaciones de escritorio (aproximadamente 35% éxito).
• Rendimiento incoherente: la misma tarea puede producir resultados diferentes en función de los cambios visuales o de tiempo.
• Dificultades con determinados controles de interfaz de usuario: el uso del equipo puede tener dificultades para interactuar con elementos de interfaz no estándar o dinámicos, como listas desplegables, selectores de fechas o widgets personalizados.
• Bucles y estados bloqueados: en algunos casos, el agente entra en un bucle o se bloquea cuando la pantalla no coincide con las expectativas o los cambios de forma impredecible.
• Desafíos con tareas complejas: aunque es eficaz para acciones simples, la herramienta podría tener dificultades con interfaces gráficas detalladas o tareas que implican manipulación de texto intrincada.
• No para casos de uso confidenciales o de alto riesgo: la herramienta no está pensada para:
  • Recomendación o puntuación en dominios confidenciales, como contratación, atención sanitaria o finanzas
  • Realizar transacciones financieras
  • Acciones perjudiciales, como correo no deseado o información incorrecta
  • Uso compartido de datos fuera de la organización sin autorización adecuada

Cómo minimizar las limitaciones

Para mejorar la confiabilidad, debe proporcionar instrucciones claras y detalladas al configurar tareas para reducir los errores y aumentar las tasas de éxito de las tareas.

¿Cuál es la característica de supervisión humana?

Las ejecuciones en un ordenador pueden presentar ambigüedades o faltarles información; por ejemplo, un valor requerido no está presente o es posible que haya varias interpretaciones. En esos casos, la característica de supervisión humana permite al agente que usa el equipo pausar la ejecución y emitir una solicitud de aclaración a un revisor humano autorizado y configurado. Los revisores pueden responder por correo electrónico o en Copilot Studio utilizando el mapa de actividades del agente. Una vez que el agente que utiliza el ordenador recibe una respuesta, reanuda su ejecución desde el paso que está en pausa en el mapa.

Confiabilidad y límites

Las evaluaciones dirigidas por el producto indican que la característica de supervisión humana funciona generalmente según lo previsto, pero puede producir errores o comportarse de maneras que los usuarios no puedan prever. Dado que las solicitudes de aclaración se desencadenan por el comportamiento del modelo probabilístico, es posible que no se desencadenen en todas las situaciones en las que una persona quiera una pausa, y también pueden desencadenarse cuando no es necesaria una pausa. No debe confiar en las solicitudes de aclaración como un mecanismo de seguridad ni como garantía de que el sistema siempre pedirá intervención humana antes de continuar.

No es un mecanismo para aplicar reglas personalizadas

Las solicitudes de supervisión humana no garantizan la aplicación de las reglas, directivas o restricciones definidas. Debe aplicar más controles adecuados para cada escenario posible (por ejemplo: instrucciones claras, entornos restringidos, cuentas con privilegios mínimos, listas de permitidos y otras medidas de seguridad operativas) en lugar de confiar en solicitudes de aclaración para proporcionar información o evitar acciones no deseadas.

¿Qué factores operativos y configuraciones permiten un uso eficaz y responsable de la herramienta de uso del equipo?

La herramienta de uso del equipo funciona mejor cuando se proporcionan instrucciones de usuario claras y detalladas. Los usuarios deben proporcionar sugerencias precisas sobre las interacciones de sitios web o aplicaciones para mejorar la confiabilidad y la precisión durante la ejecución de la tarea. Para mayor visibilidad y control, habilite la supervisión humana asignando uno o más revisores autorizados en la página de configuración de herramientas. Cuando el modelo detecta instrucciones potencialmente malintencionadas, estos revisores reciben notificaciones para validar y decidir si continuar o detener la ejecución.

¿Cómo puedo proporcionar comentarios sobre la herramienta de uso del equipo?

¿Tiene comentarios sobre la herramienta de uso del equipo? Correo electrónico computeruse-feedback@microsoft.com.