面向企业数据场景的智能问数与数据治理平台
简体中文 · English
核心能力 · 系统架构 · 问数链路 · 快速开始 · 文档
DataOcean 将自然语言问数(NL2SQL)与元数据治理连接起来。业务用户选择一个 MySQL 数据源,用自然语言查询同库多表;治理人员维护结构、业务含义和审核依据,系统据此交付受保护的表格、图表和查询依据。
PC 桌面 · 当前面向本地开发与演示。实际验证范围与限制见项目现状。
| 能力 | 如何工作 |
|---|---|
| 自然语言问数 | LangGraph 编排检索、规划、生成和核对;支持连续对话、任务取消与恢复。图表不可用时可保留受保护表格。 |
| Schema RAG | 将经过审核的结构、字段解释、术语和业务知识用于检索;绑定数据源、快照与构建版本,并按当前权限筛选。 |
| SQL AST 安全 | 使用 sqlglot 解析与校验,限制为安全的 SELECT;结合行列授权、参数化行条件、只读账号、结果上限与超时,再由 Java 最终脱敏。 |
| 治理与知识发布 | 从元数据采集、质量问题与语义补充,走到快照审核、知识文档发布和显式 RAG 构建;AI 候选与人工审核依据分开。 |
| 审计与血缘解释 | 保存查询尝试和来源证据,区分实体关系、查询使用与输出来源;反馈经归因进入再治理。 |
后台功能与负责数据源、业务问数的数据授权分别管理。后台能看到一个数据源,不代表当前账号就能查询它。详见 IAM 与数据授权。
| 服务 | 职责 |
|---|---|
| Vue 前端 | 问数、治理与管理界面;只调用 Java 公共 API。 |
| Java 网关 | 身份、IAM、数据源、治理、审核发布、任务、会话持久化、审计和最终脱敏。 |
| Python AI 服务 | LangGraph 编排、知识切分、Embedding、检索与重排、AST 校验、只读执行和图表生成。 |
Java/MySQL 保存完整会话与治理事实;Python 的 checkpoint 保存可恢复的安全图状态。图中省略授权、结果保护等内部回调。查询结果不缓存。完整依赖版本、存储归属和异步边界见技术栈与模块职责。
Java 先绑定用户、数据源、会话与活动构建,Python 再依次完成 检索 → 规划 → 生成 SQL → 语义核对 → 授权执行保护 → 结果核对。
- 知识有来源:检索绑定已审核知识及精确版本;候选与依赖还需满足当前 IAM 可见范围。
- 执行有保护:每次候选 SQL 都重新授权,经 AST 校验、只读执行和 Java 结果保护后,才能进入结果核对。
- 修正有边界:共享调用预算与时限;依据不足时澄清,服务故障明确失败。Redis 安全 checkpoint 不可用时停止问数。
这是核心链路示意,省略调度、澄清、失败与完成节点及部分分支。实现见 graph.py,完整合同见问数与会话记忆。
发布文档和构建索引是两个动作。 构建固定来源、版本和知识集合,通过验证后才切换活动索引。查询固定本次 build,并在关键阶段复核来源和权限;反馈修订后,仍需按原问题核验才能结案。
血缘也区分用途:实体图表达已记录的结构或加工关系,查询追溯解释实际使用与输出来源。参与同一次 JOIN 不会自动变成物理数据流。详见 Schema RAG、查询审计与血缘。
| 工具 / 服务 | 要求 |
|---|---|
| Java | JDK 17、Maven 3.6.3+ |
| Node.js | 22.x ≥22.18 或 24.x ≥24.11;npm |
| Python | Python ≥3.13、uv;下方命令使用 3.13 |
| 数据服务 | MySQL 8、Milvus、Redis;安全 checkpoint 需要具备 JSON/Search 能力的 Redis 8、DB 0 |
依赖要求与命令来源:本地开发与验证、前端锁文件、Python 清单、Java POM。
git clone --branch develop --single-branch https://github.com/TTlook111/data-ocean.git DataOcean
cd DataOcean已有基础依赖时填写实际连接信息;新环境可参考可选 Compose 配置。docker-compose.yml 只提供依赖,三个应用在本机分别运行。
配置文件与首次初始化
首次克隆后,从仓库根目录创建本地配置;已有配置直接编辑:
cp backend/DataOcean/src/main/resources/application-local.example.yml \
backend/DataOcean/src/main/resources/application-local.yml
cp python-service/.env.example python-service/.env按配置指南填写实际连接、Java/Python 共用内部令牌、Java JWT 签名密钥与数据源加密密钥。真实密钥放在被忽略的本地配置或环境变量中。
Java 启动会应用 Flyway 迁移,请核对目标应用库。新建空应用库还需按首次使用指南完成管理员密码与 IAM 初始化;已有环境使用原账号和授权。仓库不提供通用初始明文密码。
在三个独立终端中,分别从仓库根目录执行(Bash):
# Java 网关 · 默认 8080
cd backend/DataOcean
mvn spring-boot:run# Python AI 服务 · 默认 8000
cd python-service
uv sync --locked --python 3.13
uv run --locked uvicorn dataocean.main:app --reload --port 8000# Vue 前端 · 默认 5173
cd frontend
npm ci
npm run dev打开 http://localhost:5173。PowerShell 命令、端口调整和排障见启动应用。
- 在后台 AI 配置中设置供应商、LLM 与 Embedding。
- 接入使用只读业务账号的 MySQL 数据源,采集元数据并补充、审核业务含义。
- 完成相应快照与知识文档发布,再由有权用户显式确认 RAG 构建。
- 配置业务用户的问数功能与数据授权,选择有权数据源后提问。
应用能启动与当前账号可问数是两件事。准备状态、活动索引和个人数据权限需分别核验。
| 想了解什么 | 入口 |
|---|---|
| 按目的查找文档 | 文档导航 |
| 已交付与未完成 | 项目现状、后续开发及验收条件 |
| 环境、初始化、启动与测试 | 本地开发与验证 |
| 架构与具体模块 | 技术栈与模块职责、模块导航 |
| 页面交互与历史证据 | 前端开发规范、已归档的实施与验收记录 |
| 参与代码修改 | AGENTS.md |
各轮的环境、已通过范围、失败和未测场景见验收索引。
项目目录
frontend/ Vue 问数端与治理后台
backend/DataOcean/ Java 网关、权限、治理与持久化
python-service/ LangGraph、Schema RAG 与 SQL 沙箱
docs/ 现行文档、开发指南与验收记录
MIT License · Copyright (c) 2026 Muyou (TTlook111)