| 项目名称 | 项目介绍 | 详细介绍 | 技术框架 |
|---|---|---|---|
| bdp-metric | 模拟数据源生产仿真数据 | 模拟外部数据源，主要用于生成dummy metric数据，然后写入MySQL，该项目主要由shell脚本组成。 | Shell |
| bdp-import | 批量数据导入 | 负责从外部数据源以批量的方式采集数据。 | Sqoop |
| bdp-collect | 实时数据采集 | Camel、Kafka | |
| bdp-dwh | 构建数据仓库 | 负责构建数据仓库，是批处理的核心项目。 | Spark SQL |
| bdp-master-server | 主数据管理 | 主数据系统的服务器端，负责维护主数据，它有两个存储介质：MySQL、Redis，前者用于主数据的持久化存储，后者作为Cache为实时流处理提供主数据查询服务。 | Spring Boot、Redis |
| bdp-master-client | 主数据读写客户端 | 专门为读取主数据开发的客户端程序，从bdp-master-server维护的Redis上读取数据，供流处理项目bdp-stream使用 | Scala、Redis |
| bdp-stream | 实时流计算 | 负责实时流处理，是实时处理的核心项目。 | Spark Streaming、HBase |
| bdp-workflow | 作业调度 | 负责所有批处理的作业编排和调度 | Oozie |
| bdp-parent | 管理依赖 | 负责统一维护以上所有项目的依赖类库和插件版本，这是Maven项目中常见的做法。 |
| 项目 | 配置项 | 配置项说明 | Maven Profile | |
| standalone | cluster | |||
| bdp-metric | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
| db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
| bdp-import | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
| bdp.metric.db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
| bdp.master.db.host | bdp_master的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
| bdp-collect | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
| bdp.metric.db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
| kafka.brokers | kafka的broker服务器列表 | node1.cluster:6667 | worker1.cluster:6667, worker2.cluster:6667, worker3.cluster:6667 |
|
| bdp-dwh | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
| bdp.metric.db.host | bdp_metric的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
| bdp.master.db.host | bdp_master的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
| bdp-master-server | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
| bdp.master.db.host | bdp_master的数据库服务器 | node1.cluster | loadbalancer1.cluster | |
| bdp-master-client | redis.host | Redis服务器 | node1.cluster | gateway1.cluster |
| bdp-stream | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
| app.cluster.bodes | Spark Driver+Executor的服务器列表 | node1.cluster | gateway1.cluster, worker1.cluster, worker2.cluster, worker3.cluster |
|
| hbase.zkQuorum | hbase的zkQuorum服务器列表 | node1.cluster:2181 | master1.cluster:2181, master2.cluster:2181, utility1.cluster:2181 |
|
| kafka.brokers | kafka的broker服务器列表 | node1.cluster:6667 | worker1.cluster:6667, worker2.cluster:6667, worker3.cluster:6667 |
|
| bdp-workflow | app.host | 部署该应用程序的远程服务器 | node1.cluster | gateway1.cluster |
| cluster.namenode | Namenode服务器 | node1.cluster | nameservice1.cluster | |
| cluster.resourcemanager | resourcemanager服务器 | node1.cluster | master1.cluster | |
| cluster.oozie.host | Oozie服务器 | node1.cluster | utility1.cluster | |