ИИ-сотрудники на рабочем столе

Некоторым задачам мало текста: нужен браузер, запущенное приложение или проверка глазами. Для этого у сотрудников с доступом к рабочему столу есть экран — ваш настоящий рабочий стол.

7.1 Что изменилось

В прежних версиях noHuman Team у каждого noHuman был виртуальный рабочий стол на Linux с просмотром по VNC. Эти виртуальные рабочие столы удалены. Теперь noHuman Team — нативное приложение, и noHumans с доступом к рабочему столу (например, Automator в Startup Team) управляют тем же компьютером, за которым сидите вы.

Старые ссылки продолжают работать. Адрес этой страницы сохранён, чтобы не ломались закладки и поисковая выдача, но просмотрщика VNC, страницы «Рабочие столы» и «виртуального дисплея» больше нет.

7.2 Как сотрудник видит экран и действует

Сотрудник делает снимок экрана, анализирует увиденное, а затем нажимает и печатает штатными средствами ввода операционной системы. Возможности зависят от ОС:

macOS — полная поддержка. Снимки экрана и ввод работают через cliclick и требуют двух разрешений, описанных ниже.
Windows — снимки экрана поддерживаются; клики и ввод текста на рабочем столе пока экспериментальные. Для работы в вебе лучше использовать инструменты браузера.

В macOS для этого нужны два разрешения, и оба выдаются самому приложению noHuman Team, а не терминалу и не node:

Запись экрана — позволяет сотруднику снимать то, что показано на экране. Системные настройки → Конфиденциальность и безопасность → Запись экрана → включите noHuman Team.
Универсальный доступ — позволяет сотруднику двигать мышь и нажимать клавиши. Системные настройки → Конфиденциальность и безопасность → Универсальный доступ → включите noHuman Team.

macOS запрашивает оба разрешения при первой необходимости. Если сотрудник сообщает, что не видит экран, убедитесь, что разрешение выдано именно noHuman Team, и перезапустите приложение.

7.3 Панель «Браузер»: наблюдение и управление

У каждого noHuman с инструментами браузера есть собственный браузер Chrome с постоянным профилем. Это настоящее окно на вашем компьютере, и оно же видно в реальном времени в панели управления: откройте noHuman и нажмите «Браузер» на панели инструментов беседы, и браузер откроется справа. Просмотрщика удалённого рабочего стола нет, и ничего устанавливать не нужно.

Браузер запускается по запросу. Нажмите «Открыть браузер», и на панели в реальном времени появится картинка того, что показывает браузер noHuman. Выглядит она как обычный браузер: сверху ряд вкладок, затем кнопки «назад», «вперёд», «обновить» и адресная строка.

Осматриваться можно всегда. Прокручивайте страницу и нажимайте на любую вкладку в ряду, чтобы её посмотреть. Ни то ни другое не затрагивает настоящее окно Chrome, поэтому оно не выскакивает поверх других окон, а noHuman продолжает работу.
Картинка следует за noHuman. Вкладка, в которой работают инструменты браузера, отмечена маленьким значком робота, и вид переключается на неё сам, даже если в настоящем окне она открыта в фоне. Если выбрать другую вкладку, вид останется на ней; чтобы вернуться, нажмите «Следовать за noHuman».
«Взять управление» — если хотите помочь. Можно нажимать, перетаскивать, печатать и вставлять прямо в картинку, пользоваться кнопками «назад», «вперёд», «обновить» и адресной строкой, закрывать вкладки. Пока управление у вас, noHuman не трогает этот браузер. Нажмите «Вернуться к наблюдению», чтобы передать управление обратно.
«Показать окно» выводит настоящее окно Chrome на передний план. Так можно войти на сайт через менеджер паролей или passkey: они работают только в настоящем окне. Сначала возьмите управление, чтобы noHuman подождал, пока вы вводите данные. Сеанс сохранится и после этого.
noHuman приостанавливается, только когда управление у вас. Наблюдение, прокрутка и «Показать окно» работу не прерывают: noHuman продолжает действовать в браузере, пока вы не возьмёте управление.

В адресную строку можно вводить только обычные веб-адреса. Живая картинка доступна только вашему сеансу панели управления, а каждый раз, когда вы берёте управление, это попадает в журнал аудита. Если картинка остаётся пустой, окно Chrome свёрнуто: Chrome не рисует свёрнутое окно, а «Показать окно» возвращает его.

7.4 Примеры использования

Поиск в интернете

«Найди 5 лучших инструментов для управления проектами и кратко опиши их цены».

noHuman открывает браузер, заходит на каждый сайт, читает страницы с ценами и составляет сводку.

Заполнение форм

«Заполни форму заявки для поставщиков на example.com/apply данными нашей компании».

noHuman переходит к форме, заполняет каждое поле и даже может отправить её (если вы об этом попросите).

Тестирование сайта

«Открой только что созданный лендинг и проверь, всё ли выглядит как надо».

Developer открывает страницу в своём браузере, проверяет вёрстку и сообщает о найденных проблемах.

Нативные приложения

«Открой Numbers, добавь цифры за эту неделю в таблицу продаж и экспортируй её в PDF».

Сотрудник управляет настоящим рабочим столом, поэтому может работать в любом приложении, доступном вам, и с теми же правами доступа. Формулируйте задачи осознанно.

7.5 Ограничения и советы

Что умеют сотрудники с доступом к рабочему столу:

Просматривать сайты в собственном Chromium
Заполнять формы, нажимать кнопки, переходить по страницам
Читать и извлекать текст со страниц
Делать снимки рабочего стола и действовать по ним
Работать с нативными приложениями на Mac; ввод на рабочем столе Windows пока экспериментальный

Чего они не умеют:

Работать на отдельном экране: они делят с вами рабочий стол, поэтому если сотрудник нажимает мышью, пока вы печатаете, ваши действия будут мешать друг другу
Надёжно проходить CAPTCHA
Входить на сайты с двухфакторной аутентификацией (если только вы не дадите код или не войдёте сами в панели «Браузер» либо в настоящем окне)

Советы:

Для работы в вебе используйте инструменты браузера. Они работают со структурой страницы напрямую, и экран им вообще не нужен.
Наблюдайте в панели «Браузер». Так быстрее, чем искать нужное окно Chrome, и все noHumans видны в одном месте.
Указывайте адреса точно. Говорите noHuman, куда именно перейти: «Открой example.com/pricing», а не просто «посмотри их цены».
Не трогайте компьютер во время задач на рабочем столе. Сотрудник пользуется вашей мышью и клавиатурой; если хотите одобрять каждое действие, настройте самостоятельность (режим «Сначала спросить» или «С ограничениями»).
Проверьте окно браузера, если задача, похоже, зависла. Возможно, noHuman ждёт загрузки страницы или неожиданного всплывающего окна.