Skip to content

Repository files navigation

gui-bench-orchestrator

一份配置同时跑 MobileWorld + AndroidLab 两个 GUI Agent benchmark,自动出对比表。

想了解设计 → ARCHITECTURE.md(中文) 想了解技术细节 → spec_v0.3.md(英文)


4 步上手

1. 准备机器

需要 GCP / Linux + KVM(Mac 不支持),并且:

  • 已装 Docker、当前用户在 docker 组、sudo 免密
  • 已装 Python ≥ 3.12 和 conda(或 uv)
  • ~/MobileWorld/~/Android-Lab/ 是上游纯净 clone

详见 HANDOFF.md §3。

2. 检查环境

bash setup.sh --check-only

每一项打印 OK/FAIL;FAIL 的会给出修复指引。全 OK 才继续。

注:完整 bash setup.sh(自动装依赖 + 拉 Docker image)还没实现,spec_v0.3.md §10 Phase 1 之后才会有。

3. 填密钥

cp .env.example .env
$EDITOR .env                # 填 API_KEY、LLM_BASE_URL、OPENAI_API_KEY 等

4. 跑实验

编辑 experiments.yamlstrategy 选什么、model.name 用什么、benchmarks 跑几个),然后:

bash run.sh experiments.yaml             # 真跑
bash run.sh experiments.yaml --dry-run   # 只渲染配置,不调 LLM

注:完整 run pipeline 还在搭,目前只有骨架;当前能跑的只有 --check-only


当前能干什么 / 还不能干什么

命令 状态
bash setup.sh --check-only
bash setup.sh ❌ Phase 1 之后
bash run.sh ... --dry-run ❌ Phase 2
bash run.sh ... (真跑 MW) ❌ Phase 3
bash run.sh ... (真跑 AL) ❌ Phase 4
bash run.sh ... (两边都跑 + 合并) ❌ Phase 5

详见 spec_v0.3.md §10。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages