Skip to content

About

Enterprise NL2SQL platform with metadata governance-driven trusted query generation

Resources

Stars

1 star

Watchers

0 watching

Forks

Repository files navigation

DataOcean Logo DataOcean

面向企业数据场景的智能问数与数据治理平台

简体中文 · English

核心能力 · 系统架构 · 问数链路 · 快速开始 · 文档

从治理元数据与审核知识,到受保护问数的概念主视觉

说明图来源

DataOcean 将自然语言问数(NL2SQL)与元数据治理连接起来。业务用户选择一个 MySQL 数据源,用自然语言查询同库多表;治理人员维护结构、业务含义和审核依据,系统据此交付受保护的表格、图表和查询依据。

PC 桌面 · 当前面向本地开发与演示。实际验证范围与限制见项目现状。

从提问到依据

能力 如何工作
自然语言问数 LangGraph 编排检索、规划、生成和核对;支持连续对话、任务取消与恢复。图表不可用时可保留受保护表格。
Schema RAG 将经过审核的结构、字段解释、术语和业务知识用于检索;绑定数据源、快照与构建版本,并按当前权限筛选。
SQL AST 安全 使用 sqlglot 解析与校验,限制为安全的 SELECT;结合行列授权、参数化行条件、只读账号、结果上限与超时,再由 Java 最终脱敏。
治理与知识发布 从元数据采集、质量问题与语义补充,走到快照审核、知识文档发布和显式 RAG 构建;AI 候选与人工审核依据分开。
审计与血缘解释 保存查询尝试和来源证据,区分实体关系、查询使用与输出来源;反馈经归因进入再治理。

后台功能与负责数据源、业务问数的数据授权分别管理。后台能看到一个数据源,不代表当前账号就能查询它。详见 IAM 与数据授权。

系统架构

Vue 3 仅调用 Java;Java 调用 Python,分别连接应用状态和 AI、检索、只读查询依赖

服务 职责
Vue 前端 问数、治理与管理界面;只调用 Java 公共 API。
Java 网关 身份、IAM、数据源、治理、审核发布、任务、会话持久化、审计和最终脱敏。
Python AI 服务 LangGraph 编排、知识切分、Embedding、检索与重排、AST 校验、只读执行和图表生成。

Java/MySQL 保存完整会话与治理事实;Python 的 checkpoint 保存可恢复的安全图状态。图中省略授权、结果保护等内部回调。查询结果不缓存。完整依赖版本、存储归属和异步边界见技术栈与模块职责。

LangGraph 问数链路

Java 先绑定用户、数据源、会话与活动构建,Python 再依次完成 检索 → 规划 → 生成 SQL → 语义核对 → 授权执行保护 → 结果核对。

LangGraph 六核心节点:检索、资源规划、生成 SQL、语义核对、授权执行保护、结果核对

  • 知识有来源:检索绑定已审核知识及精确版本;候选与依赖还需满足当前 IAM 可见范围。
  • 执行有保护:每次候选 SQL 都重新授权,经 AST 校验、只读执行和 Java 结果保护后,才能进入结果核对。
  • 修正有边界:共享调用预算与时限;依据不足时澄清,服务故障明确失败。Redis 安全 checkpoint 不可用时停止问数。

这是核心链路示意,省略调度、澄清、失败与完成节点及部分分支。实现见 graph.py,完整合同见问数与会话记忆。

治理如何进入可信查询

采集、治理审核、发布、显式 RAG 构建、受保护问数与反馈再治理

发布文档和构建索引是两个动作。 构建固定来源、版本和知识集合,通过验证后才切换活动索引。查询固定本次 build,并在关键阶段复核来源和权限;反馈修订后,仍需按原问题核验才能结案。

血缘也区分用途:实体图表达已记录的结构或加工关系,查询追溯解释实际使用与输出来源。参与同一次 JOIN 不会自动变成物理数据流。详见 Schema RAG、查询审计与血缘。

快速开始

1. 准备环境

工具 / 服务 要求
Java JDK 17、Maven 3.6.3+
Node.js 22.x ≥22.18 或 24.x ≥24.11;npm
Python Python ≥3.13、uv;下方命令使用 3.13
数据服务 MySQL 8、Milvus、Redis;安全 checkpoint 需要具备 JSON/Search 能力的 Redis 8、DB 0

依赖要求与命令来源:本地开发与验证、前端锁文件、Python 清单、Java POM。

git clone --branch develop --single-branch https://github.com/TTlook111/data-ocean.git DataOcean
cd DataOcean

已有基础依赖时填写实际连接信息;新环境可参考可选 Compose 配置。docker-compose.yml 只提供依赖,三个应用在本机分别运行。

2. 配置与首次初始化

配置文件与首次初始化

首次克隆后,从仓库根目录创建本地配置;已有配置直接编辑:

cp backend/DataOcean/src/main/resources/application-local.example.yml \
   backend/DataOcean/src/main/resources/application-local.yml
cp python-service/.env.example python-service/.env

按配置指南填写实际连接、Java/Python 共用内部令牌、Java JWT 签名密钥与数据源加密密钥。真实密钥放在被忽略的本地配置或环境变量中。

Java 启动会应用 Flyway 迁移,请核对目标应用库。新建空应用库还需按首次使用指南完成管理员密码与 IAM 初始化;已有环境使用原账号和授权。仓库不提供通用初始明文密码。

3. 启动三个应用

在三个独立终端中,分别从仓库根目录执行(Bash):

# Java 网关 · 默认 8080
cd backend/DataOcean
mvn spring-boot:run
# Python AI 服务 · 默认 8000
cd python-service
uv sync --locked --python 3.13
uv run --locked uvicorn dataocean.main:app --reload --port 8000
# Vue 前端 · 默认 5173
cd frontend
npm ci
npm run dev

打开 http://localhost:5173。PowerShell 命令、端口调整和排障见启动应用。

4. 完成第一轮问数准备

  1. 在后台 AI 配置中设置供应商、LLM 与 Embedding。
  2. 接入使用只读业务账号的 MySQL 数据源,采集元数据并补充、审核业务含义。
  3. 完成相应快照与知识文档发布,再由有权用户显式确认 RAG 构建。
  4. 配置业务用户的问数功能与数据授权,选择有权数据源后提问。

应用能启动与当前账号可问数是两件事。准备状态、活动索引和个人数据权限需分别核验。

文档与项目状态

想了解什么 入口
按目的查找文档 文档导航
已交付与未完成 项目现状、后续开发及验收条件
环境、初始化、启动与测试 本地开发与验证
架构与具体模块 技术栈与模块职责、模块导航
页面交互与历史证据 前端开发规范、已归档的实施与验收记录
参与代码修改 AGENTS.md

各轮的环境、已通过范围、失败和未测场景见验收索引。

项目目录
frontend/              Vue 问数端与治理后台
backend/DataOcean/     Java 网关、权限、治理与持久化
python-service/        LangGraph、Schema RAG 与 SQL 沙箱
docs/                  现行文档、开发指南与验收记录

许可证

MIT License · Copyright (c) 2026 Muyou (TTlook111)

About

Enterprise NL2SQL platform with metadata governance-driven trusted query generation

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages