noHumans con escritorio

Algunas tareas necesitan algo más que texto: un navegador, una aplicación en ejecución o una comprobación visual. Los noHumans con escritorio tienen una pantalla con la que trabajar: tu escritorio real.

7.1 Qué ha cambiado

Las versiones anteriores de noHuman Team daban a cada noHuman un escritorio Linux simulado que se veía por VNC. Esos escritorios virtuales se han eliminado. noHuman Team ahora es una aplicación nativa, y los noHumans con capacidad de escritorio (por ejemplo, el Automator del Startup Team) manejan el mismo ordenador que estás usando.

7.2 Cómo ven y actúan los noHumans con escritorio

Un noHuman con escritorio hace una captura de tu pantalla, razona sobre lo que ve y luego hace clic y escribe con la propia capa de entrada del sistema operativo. La compatibilidad varía según el sistema:

• macOS: compatibilidad completa. Capturas de pantalla y entrada con cliclick, sujetas a los dos permisos siguientes.
• Windows: las capturas de pantalla son compatibles; los clics y la escritura en el escritorio son experimentales. Para trabajar en la web, es mejor usar las herramientas del navegador.

En macOS, dos permisos lo hacen posible, y ambos se conceden a la propia aplicación noHuman Team, no a un terminal ni a node:

• Grabación de pantalla: permite al noHuman capturar lo que hay en pantalla. Ajustes del Sistema → Privacidad y seguridad → Grabación de pantalla → activa noHuman Team.
• Accesibilidad: permite al noHuman mover el ratón y pulsar teclas. Ajustes del Sistema → Privacidad y seguridad → Accesibilidad → activa noHuman Team.

macOS pide ambos permisos la primera vez que un noHuman los necesita. Si alguno te dice que no puede ver la pantalla, comprueba que el permiso esté concedido a noHuman Team y reinicia la aplicación.

7.3 El panel Navegador: observa y toma el control

Cada noHuman con herramientas de navegador tiene su propio navegador Chrome con un perfil persistente. Es una ventana real en tu ordenador y además aparece en directo dentro del panel de control: abre un noHuman y usa Navegador en la barra de herramientas de la conversación para abrir el panel derecho. No hay ningún visor de escritorio remoto ni nada que instalar.

El navegador se inicia cuando hace falta. Pulsa Abrir navegador y el panel se llena con una imagen en directo de lo que muestra el navegador del noHuman. Parece un navegador: una fila de pestañas arriba y, debajo, atrás, adelante, recargar y la dirección.

• Mirar siempre está permitido. Desplázate por la página y haz clic en cualquier pestaña de la fila para verla. Ninguna de las dos acciones toca la ventana real de Chrome, así que Chrome nunca se pone delante de lo que estás haciendo y el noHuman no se interrumpe.
• La imagen sigue al noHuman. La pestaña en la que trabajan sus herramientas de navegador lleva un pequeño icono de robot, y la vista pasa a ella automáticamente, incluso cuando esa pestaña está en segundo plano en la ventana real. Si eliges otra pestaña, la vista se queda ahí; pulsa Seguir al noHuman para volver.
• Pulsa Tomar el control cuando quieras ayudar: haz clic, arrastra, escribe y pega directamente en la imagen, usa atrás, adelante, recargar y la barra de direcciones, y cierra pestañas. Mientras tengas el control, el noHuman no toca este navegador. Pulsa Volver a observar para devolvérselo.
• Mostrar ventana trae al frente la ventana real de Chrome. Sirve para iniciar sesión en un sitio con tu gestor de contraseñas o una clave de acceso, que solo funcionan en la ventana real. Toma primero el control, para que el noHuman espere mientras escribes ahí. Después, el noHuman conserva la sesión.
• Solo tomar el control pausa al noHuman. Observar, desplazarse y Mostrar ventana no lo pausan, así que el noHuman sigue trabajando en el navegador hasta que tomes el control.

La barra de direcciones solo acepta direcciones web normales. La vista en directo está disponible únicamente para tu sesión del panel de control, y cada toma de control queda anotada en el registro de auditoría. Si la imagen sigue en blanco, es que la ventana de Chrome está minimizada: Chrome deja de dibujar una ventana minimizada, y Mostrar ventana la recupera.

7.4 Casos de uso

Investigación web

«Investiga las 5 mejores herramientas de gestión de proyectos y resume sus precios.»

El noHuman abre su navegador, visita cada sitio, lee las páginas de precios y elabora un resumen.

Rellenar formularios

«Rellena el formulario de solicitud de proveedores de example.com/apply con los datos de nuestra empresa.»

El noHuman llega al formulario, rellena cada campo e incluso puede enviarlo (si se lo indicas).

Pruebas de sitios web

«Abre la página web que acabas de crear y comprueba si todo se ve bien.»

El Developer abre la página en su navegador, inspecciona el diseño e informa de cualquier problema.

Aplicaciones nativas

«Abre Numbers, añade las cifras de esta semana a la hoja de ventas y expórtala como PDF.»

Como el noHuman maneja tu escritorio real, puede usar cualquier aplicación que puedas usar tú, con tu mismo acceso, así que piensa bien lo que le pides.

7.5 Limitaciones y consejos

Lo que pueden hacer los noHumans con escritorio:

• Navegar por sitios web en su propio Chromium
• Rellenar formularios, hacer clic en botones y moverse por las páginas
• Leer y extraer texto de las páginas
• Hacer capturas de pantalla de tu escritorio y actuar a partir de ellas
• Manejar aplicaciones de escritorio nativas en Mac; en Windows, la entrada en el escritorio es experimental

Lo que no pueden hacer:

• Trabajar en una pantalla aparte: comparten tu escritorio, así que si un noHuman hace clic mientras tú escribes, las dos acciones chocarán
• Resolver CAPTCHA de forma fiable
• Iniciar sesión en sitios que exigen 2FA (a menos que proporciones el código o inicies tú la sesión desde el panel Navegador o la ventana real)

Consejos:

• Para trabajar en la web, usa las herramientas de navegador. Actúan directamente sobre la estructura de la página y no necesitan la pantalla para nada.
• Observa desde el panel Navegador. Es más rápido que buscar la ventana de Chrome correcta, y sirve para todos los noHumans desde un solo lugar.
• Indica URL concretas. Dile al noHuman exactamente adónde ir: «Ve a example.com/pricing» y no solo «revisa sus precios».
• Aléjate durante las tareas de escritorio. Un noHuman con escritorio usa tu ratón y tu teclado; si quieres aprobar cada acción, pon el control de autonomía en Preguntar primero o Protegido.
• Revisa la ventana del navegador si una tarea parece atascada. Puede que el noHuman esté esperando a que cargue una página o a que desaparezca una ventana emergente inesperada.