cmux Computer Use

Надайте ШІ-агентам для програмування доступ до нативних програм Mac. cmux Computer Use дає змогу читати інтерфейси, робити знімки екрана, натискати елементи та вводити текст.

Підтримувані агенти

Нативні інструменти Computer Use автоматично підключаються до сеансів Claude Code і Codex, запущених у cmux. Інші агенти працюють у терміналі, але ще не отримують цю автоматичну інтеграцію керування Mac.

Початок роботи

1. Установіть і відкрийте cmux для Mac. Увімкніть Computer Use в Параметри → Computer Use.
2. За допомогою кнопок дозволів надайте cmux Computer Use доступність і запис екрана в системних параметрах. Якщо помічника немає в списку, додайте або перетягніть плитку його програми на панель дозволів.
3. Почніть новий сеанс Claude Code або Codex у cmux. Попросіть використати Computer Use, зазначивши програму й завдання. Інструменти підключаться автоматично, без ручного налаштування MCP.

Копіювати промпт Computer Use

Використовуй навичку $cmux-cua. Якщо її немає, установи звичайним інсталятором. За відсутності дозволів попроси мене відкрити Параметри cmux → Computer Use. Перевіряй до дії та після кожної зміни.

Завдання: [опишіть завдання тут]

Дозволи та налаштування

Доступність дозволяє читати інтерфейси й керувати ними, а запис екрана потрібен для знімків. Надайте обидва дозволи cmux Computer Use. Запуск cmux або агента не надає доступу й не відкриває налаштування автоматично.

Дозволами Computer Use керує окрема допоміжна програма, тому сеанси термінала залишаються відкритими під час початкового налаштування.

На macOS Tahoe також схваліть додаткове підтвердження захоплення екрана. Повторіть завдання, коли cmux покаже обидва дозволи як надані.

Спробуйте з Калькулятором

Використай cmux Computer Use, щоб відкрити Калькулятор, натиснути 100 + 105 і показати мені результат.

Спочатку огляньте ціль, виконайте дії з елементами поточного знімка стану, потім перевірте результат повторно. Індекси дійсні лише для поточного стану; оновлюйте їх після переходів чи змін макета. Підтвердження клацання саме по собі не доводить завершення завдання.

Інструменти агентів

cmux-cua — вбудований MCP-сервер зі структурованими інструментами для нативних програм. Це назви інструментів, а не команди оболонки. Аргументи залежать від профілю агента; використовуйте схеми, надані сеансу.

Codex

Codex викликає get_app_state з назвою програми або ідентифікатором пакета, отримуючи знімок і дерево доступності. Дійте через актуальний element_index або координати знімка, потім знову викличте get_app_state. Інструменти:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code знаходить ціль через list_apps і list_windows, потім використовує get_window_state з pid і window_id. Віддавайте перевагу токенам елементів або свіжим індексам. Нативний профіль також підтримує perform_actions для груп дій, що не роблять наступні цілі неактуальними.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Спостереження та зупинка Computer Use

Пункт Computer Use у смузі меню показує активного агента. Focus Computer Use стежить за керованою програмою; Focus Calling Terminal повертає до вихідного термінала без зупинки автоматизації. Завершіть сеанс керування дією зупинки в меню.

Вимкніть Computer Use у параметрах. Щоб виключити інструменти з нового запуску агента, заздалегідь установіть CMUX_COMPUTER_USE_MCP_DISABLED=1.

Навички

Навичка cmux-cua пояснює цикл огляду й дій. Вона необов’язкова та не надає дозволів macOS. Для постійного встановлення використовуйте інсталятор навичок агента; cmux типово не встановлює глобальні навички.

Читати навичку cmux-cua

Нативні програми та автоматизація браузера

Computer Use керує нативними вікнами Mac через знімки й доступність. Для браузерних панелей cmux використовуйте cmux browser для DOM-знімків, селекторів, форм і JavaScript. Посилання на поверхню браузера відрізняється від індексу елемента нативної програми.

Довідник автоматизації браузера

Усунення несправностей

Агент не має інструментів Computer Use

Увімкніть Computer Use й почніть новий сеанс Claude Code або Codex у cmux. Наявні сеанси можуть зберігати початкові інструменти. Перевірте, чи не вимкнено функцію змінною середовища або керованою політикою.

Незавершене налаштування, невдалі клацання чи порожні знімки

Знову відкрийте Параметри → Computer Use та завершіть обидва кроки дозволів, включно з додатковими підтвердженнями захоплення. Потім повторіть спробу. Термінали можуть залишатися відкритими під час перезапуску помічника.

Не те вікно або заблоковане клацання

Знову огляньте програму та виберіть актуальний елемент. Якщо інше вікно закриває ціль, покажіть потрібне вікно й огляньте перед повтором. Не використовуйте застарілі координати чи індекси.

Огляд cmux Computer Use