# 大数据项目之数据治理项目

**Repository Path**: wqf02/web_dga_0301

## Basic Information

- **Project Name**: 大数据项目之数据治理项目
- **Description**: 大数据电商项目之数据治理项目
- **Primary Language**: Unknown
- **License**: MulanPSL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 2
- **Created**: 2024-03-11
- **Last Updated**: 2024-03-11

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# web_dga_0301


#### 软件架构
1.项目简述：数据治理通过对数仓所有的表根据指标进行打分，再根据分数大小来优化数仓。

2.技术需要：数据治理需要用到springboot,hadoop集群，hivemetastore服务获取元数据信息。

3.分析维度：通过人，表，数仓三个维度来打分，在页面展示出来。

#### 使用说明

介绍：通过一套数据治理考评系统，不断改进优化，实现数据治理。

说明：                             
1.在C:/window/system32/drivers/etc目录下，修改hosts文件，将127.0.0.1 localhost替换成127.0.0.1 dga.gmall.com
![输入图片说明](%E4%BF%AE%E6%94%B9hosts.png)

2.加载元数据的条件:
启动hadoop集群(为了在hdfs中加载元数据)，启动hive的metastore服务(命令：nohup /opt/module/hive/bin/hive -server metastore &)(为了连接hive客户端获取元数据信息)


目的：通过对多个维度的多个数据治理指标项进行考评并打分，来倒逼技术人员，进行数据治理改进。


#### 开发需求任务书

##### 任务一 元数据的加载与处理
1.从hive中加载所有表的元数据（例如：表字段名、类型、备注，表备注，表分区字段，分桶字段）

2.从hdfs中加载所有表的元数据（例如：表大小，最后访问时间，最后修改时间，文件系统容量）

3.一些其他的辅助信息（一般都是手工维护的数据：如业务负责人，技术负责人，安全级别，表的层级等）
##### 任务二 各表元数据页面接口
1.表信息查询接口（根据库名，表名，层级模糊匹配查询）

2.单表信息详情（根据元数据表的id查询单表所有元数据及辅助信息）

3.单表附加信息保存（保存辅助元数据信息）

4.手动更新全表元数据（根据手动库名和考评日期更新全表元数据）

##### 任务三 数据治理考评
1.加载所有表的元数据（包括辅助）信息（难点：自定义xml文件，自定义列名与表属性的映射）

2.加载治理的指标

3.通过模板方法设计模式，多态的方式创建工具类实现不同指标类型的不同对象创建！遵循开闭原则，对添加开发，对修改关闭。

4.每个治理指标对应一个子类(难点：简单加工指标-----需要切割sql，解析sql为抽象语法数)
##### 任务四 根据考评结果计算分数
1.计算每个表的考评得分

2.计算技术负责人所维护表的考评得分

3.数仓全局考评得分

4.调度器scheduled以及多线程comletableFuture(期货)，线程池(threadPoolExecutor)
##### 任务五 为可视化治理考评提供接口
1.全局分数接口

2.问题列表接口

3.模块问题个数接口

4.技术负责人考评得分排行榜

5.手动更新治理评估 


#### 页面展示
1.表信息查询列表接口
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E8%A1%A8%E4%BF%A1%E6%81%AF%E6%9F%A5%E8%AF%A2%E5%88%97%E8%A1%A8%E6%8E%A5%E5%8F%A3.png)
2.单表信息详情接口
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E5%8D%95%E8%A1%A8%E4%BF%A1%E6%81%AF%E8%AF%A6%E6%83%85.png)
3.辅助信息保存接口
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E8%BE%85%E5%8A%A9%E4%BF%A1%E6%81%AF%E4%BF%9D%E5%AD%98.png)
4.手动更新全库元数据接口
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E6%89%8B%E5%8A%A8%E6%9B%B4%E6%96%B0%E5%85%A8%E5%BA%93%E6%95%B0%E6%8D%AE.png)
5.全局分数接口
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E5%85%A8%E5%B1%80%E5%88%86%E6%95%B0.png)
6.问题列表接口
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E9%97%AE%E9%A2%98%E5%88%97%E8%A1%A8.png)
7.各个治理问题个数接口                  
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E5%90%84%E4%B8%AA%E6%B2%BB%E7%90%86%E4%B8%AA%E6%95%B0.png)     
8.分组人员排行榜
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E5%88%86%E7%BB%84%E4%BA%BA%E5%91%98%E6%8E%92%E8%A1%8C%E6%A6%9C.png)
9.手动触发评估
![输入图片说明](%E9%A1%B5%E9%9D%A2%E5%9B%BE%E7%89%87%E6%89%8B%E5%8A%A8%E6%9B%B4%E6%96%B0%E8%AF%84%E4%BC%B0%E6%97%A5%E6%9C%9F.png)