cmux Computer Use

Giv AI-kodeagenter adgang til native Mac-apps. Med cmux Computer Use kan de læse grænseflader, tage skærmbilleder, klikke på kontroller og skrive tekst.

Understøttede agenter

Native Computer Use-værktøjer tilsluttes automatisk Claude Code- og Codex-sessioner startet i cmux. Andre agenter kan køre i terminalen, men får endnu ikke denne automatiske integration til Mac-styring.

Kom i gang

1. Installer og åbn cmux til Mac. Aktivér Computer Use under Indstillinger → Computer Use.
2. Giv cmux Computer Use adgang til Tilgængelighed og Skærmoptagelse via tilladelsesknapperne i Systemindstillinger. Mangler hjælperen på listen, skal du tilføje eller trække dens appflise ind i tilladelsespanelet.
3. Start en ny Claude Code- eller Codex-session i cmux. Bed den bruge Computer Use, og angiv app og opgave. Værktøjerne tilsluttes automatisk uden manuel MCP-opsætning.

Kopiér en Computer Use-prompt

Brug færdigheden $cmux-cua. Hvis den mangler, installér den med den normale færdighedsinstaller. Ved manglende tilladelser skal du bede mig åbne cmux Indstillinger → Computer Use. Undersøg først og kontrollér hver ændring.

Opgave: [beskriv opgaven her]

Tilladelser og opsætning

Tilgængelighed giver adgang til at læse og betjene appgrænseflader; Skærmoptagelse muliggør skærmbilleder. Giv begge tilladelser til cmux Computer Use. At åbne cmux eller starte en agent giver ikke adgang eller åbner automatisk opsætningen.

Computer Use-tilladelser styres af en separat hjælper, så dine terminalsessioner forbliver åbne under opsætningen.

Godkend også den ekstra bekræftelse af skærmoptagelse på macOS Tahoe. Prøv først opgaven igen, når cmux viser begge tilladelser som givet.

Prøv med Lommeregner

Brug cmux Computer Use til at åbne Lommeregner, klikke 100 + 105 og vise mig resultatet.

Undersøg målet, betjen kontroller fra det aktuelle øjebliksbillede, og undersøg derefter resultatet igen. Elementindekser gælder kun for det aktuelle øjebliksbillede; opdatér efter navigation eller layoutændringer. En klikbekræftelse beviser ikke alene, at opgaven er færdig.

Agentværktøjer

cmux-cua er den medfølgende MCP-server med strukturerede værktøjer til native apps. Dette er værktøjsnavne, ikke shellkommandoer. Argumenterne afhænger af agentprofilen; brug skemaerne i sessionen.

Codex

Codex bruger get_app_state med et appnavn eller bundle-id og modtager skærmbillede og tilgængelighedstræ. Handl via et aktuelt element_index eller billedkoordinater, og kald get_app_state igen. Værktøjer:

list_apps, get_app_state, click, perform_secondary_action,
set_value, select_text, scroll, drag, press_key, type_text

Claude Code

Claude Code finder mål med list_apps og list_windows og bruger get_window_state med pid og window_id. Foretræk elementtokens eller friske indekser. Den native profil har også perform_actions til grupper af handlinger, som ikke ugyldiggør senere mål.

list_apps → list_windows → get_window_state
click / type_text / press_key / scroll / drag
get_window_state

Følg og stop Computer Use

Computer Use i menulinjen viser den aktive agent. Focus Computer Use følger den styrede app; Focus Calling Terminal vender tilbage til den kaldende terminal uden at stoppe automatiseringen. Brug menuens stophandling til at afslutte styringssessionen.

Slå Computer Use fra i Indstillinger. Sæt CMUX_COMPUTER_USE_MCP_DISABLED=1 før agentstart for at udelade værktøjerne fra en ny session.

Færdigheder

Færdigheden cmux-cua forklarer arbejdsgangen for inspektion og handling. Den er valgfri og giver ikke macOS-tilladelser. Brug agentens færdighedsinstaller til permanent installation; cmux installerer som standard ikke globale færdigheder.

Læs cmux-cua-færdigheden

Native apps og browserautomatisering

Computer Use styrer native Mac-vinduer via skærmbilleder og tilgængelighed. Brug cmux browser til DOM-øjebliksbilleder, selektorer, formularer og JavaScript i cmux-browserpaneler. Browserfladereferencer er forskellige fra native elementindekser.

Reference til browserautomatisering

Fejlfinding

Agenten mangler Computer Use-værktøjer

Aktivér Computer Use, og start en ny Claude Code- eller Codex-session i cmux. Eksisterende sessioner kan beholde deres oprindelige værktøjer. Kontrollér, at miljøvariabler eller administrerede politikker ikke deaktiverer funktionen.

Ufuldstændig opsætning, mislykkede klik eller tomme billeder

Åbn Indstillinger → Computer Use igen, og fuldfør begge tilladelser samt ekstra optagelsesbekræftelser. Prøv derefter igen. Terminalerne kan forblive åbne, hvis hjælperen skal genstartes.

Forkert vindue eller blokeret klik

Undersøg appen igen, og vælg et aktuelt element. Dækker et andet vindue målet, skal du vise det ønskede vindue og undersøge det før et nyt forsøg. Genbrug ikke gamle koordinater eller indekser.

Oversigt over cmux Computer Use