cmux Computer Use

Дайте ИИ-агентам для программирования доступ к нативным приложениям Mac. cmux Computer Use позволяет читать интерфейс, делать снимки экрана, нажимать элементы и вводить текст.

Поддерживаемые агенты

Нативные инструменты Computer Use автоматически подключаются к сеансам Claude Code и Codex, запущенным внутри cmux. Другие агенты работают в терминале, но пока не получают эту автоматическую интеграцию управления Mac.

Начало работы

1. Установите и откройте cmux для Mac. Включите Computer Use в «Настройки» → «Computer Use».
2. Через кнопки разрешений предоставьте cmux Computer Use универсальный доступ и запись экрана в системных настройках. Если помощника нет в списке, добавьте или перетащите плитку его приложения в панель разрешений.
3. Начните новый сеанс Claude Code или Codex внутри cmux. Попросите использовать Computer Use, указав приложение и задачу. Инструменты подключатся автоматически, ручная настройка MCP не нужна.

Скопировать промпт Computer Use

Используй навык $cmux-cua. Если его нет, установи обычным установщиком. При отсутствии разрешений попроси меня открыть настройки cmux → Computer Use. Проверяй цель до действия и каждое изменение после.

Задача: [опишите задачу здесь]

Разрешения и настройка

Универсальный доступ позволяет читать интерфейс и управлять им, а запись экрана нужна для снимков. Предоставьте оба разрешения cmux Computer Use. Запуск cmux или агента сам по себе не даёт доступа и не открывает настройку.

Разрешениями Computer Use управляет отдельная вспомогательная программа, поэтому сеансы терминала остаются открытыми во время первоначальной настройки.

На macOS Tahoe также подтвердите дополнительный запрос на захват экрана. Повторите задачу, когда cmux покажет, что оба разрешения предоставлены.

Попробуйте с Калькулятором

Используй cmux Computer Use, чтобы открыть Калькулятор, нажать 100 + 105 и показать мне результат.

Сначала изучите цель, выполните действия с элементами текущего снимка состояния, затем проверьте результат новым снимком. Индексы действуют только для текущего состояния; обновляйте их после переходов и изменений интерфейса. Подтверждение клика само по себе не означает завершения задачи.

Инструменты агентов

cmux-cua — встроенный MCP-сервер со структурированными инструментами для нативных приложений. Ниже приведены имена инструментов, а не команды оболочки. Аргументы зависят от профиля агента; используйте схемы, доступные в сеансе.

Codex

Codex вызывает get_app_state с именем приложения или идентификатором пакета, получая снимок и дерево универсального доступа. Используйте актуальный element_index или координаты снимка, затем снова вызовите get_app_state. Инструменты:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code находит цель через list_apps и list_windows, затем вызывает get_window_state с pid и window_id. Предпочитайте токены элементов или свежие индексы. Нативный профиль также поддерживает perform_actions для групп действий, не нарушающих актуальность последующих целей.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Наблюдение и остановка Computer Use

Пункт Computer Use в строке меню показывает активного агента. Focus Computer Use следует за управляемым приложением, а Focus Calling Terminal возвращает исходный терминал без остановки автоматизации. Для завершения управляющего сеанса используйте действие остановки в меню.

Отключите Computer Use в настройках. Чтобы исключить инструменты при новом запуске агента, заранее задайте CMUX_COMPUTER_USE_MCP_DISABLED=1.

Навыки

Навык cmux-cua описывает цикл наблюдения и действий. Он необязателен и не выдаёт разрешений macOS. Для постоянной установки используйте установщик навыков агента; cmux по умолчанию не устанавливает глобальные навыки.

Читать навык cmux-cua

Нативные приложения и автоматизация браузера

Computer Use управляет нативными окнами Mac через снимки и универсальный доступ. В браузерных панелях cmux используйте cmux browser для DOM-снимков, селекторов, форм и JavaScript. Ссылка на поверхность браузера отличается от индекса элемента нативного приложения.

Справочник по автоматизации браузера

Решение проблем

У агента нет инструментов Computer Use

Включите Computer Use и начните новый сеанс Claude Code или Codex внутри cmux. Старые сеансы могут сохранять исходный набор инструментов. Проверьте, не отключена ли функция переменной окружения или управляемой политикой.

Настройка не завершена, клики не работают или снимки пустые

Снова откройте «Настройки» → «Computer Use» и завершите оба шага разрешений, включая дополнительные подтверждения захвата. Затем повторите попытку. При перезапуске помощника терминалы могут оставаться открытыми.

Выбрано другое окно или клик заблокирован

Снова изучите приложение и выберите элемент из актуального состояния. Если другое окно перекрывает цель, покажите нужное окно и проверьте его перед повтором. Не используйте старые координаты и индексы.

Обзор cmux Computer Use