一份配置同时跑 MobileWorld + AndroidLab 两个 GUI Agent benchmark,自动出对比表。
想了解设计 →
ARCHITECTURE.md(中文) 想了解技术细节 →spec_v0.3.md(英文)
需要 GCP / Linux + KVM(Mac 不支持),并且:
- 已装 Docker、当前用户在
docker组、sudo免密 - 已装 Python ≥ 3.12 和 conda(或 uv)
~/MobileWorld/和~/Android-Lab/是上游纯净 clone
详见 HANDOFF.md §3。
bash setup.sh --check-only每一项打印 OK/FAIL;FAIL 的会给出修复指引。全 OK 才继续。
注:完整
bash setup.sh(自动装依赖 + 拉 Docker image)还没实现,spec_v0.3.md §10 Phase 1 之后才会有。
cp .env.example .env
$EDITOR .env # 填 API_KEY、LLM_BASE_URL、OPENAI_API_KEY 等编辑 experiments.yaml(strategy 选什么、model.name 用什么、benchmarks 跑几个),然后:
bash run.sh experiments.yaml # 真跑
bash run.sh experiments.yaml --dry-run # 只渲染配置,不调 LLM注:完整 run pipeline 还在搭,目前只有骨架;当前能跑的只有
--check-only。
| 命令 | 状态 |
|---|---|
bash setup.sh --check-only |
✅ |
bash setup.sh |
❌ Phase 1 之后 |
bash run.sh ... --dry-run |
❌ Phase 2 |
bash run.sh ... (真跑 MW) |
❌ Phase 3 |
bash run.sh ... (真跑 AL) |
❌ Phase 4 |
bash run.sh ... (两边都跑 + 合并) |
❌ Phase 5 |
详见 spec_v0.3.md §10。