长安大学大数据整体解决方案sneits.nwu.edu.cn/upload/appendix/107/2017-09-29_59... · 校园信息化建设历程 1994年接入互联网 2008年 启动数字化校园平台建

长安大学大数据整体解决方案

李院春

长安大学信息与网络管理处

校园信息化建设历程

1994年接入互联网

2008年

启动数字化校园平台建

设 ,10年建成数字校园

三大平台，校园“”一

卡通”系统

2017年

校园网络和各信息系统服务于4万

多注册师生用户。校园基础网络布设信

息点4万多个，无线AP3000多个；校园

网站及各类信息化管理系统：400多个。

01

03

04

统计分析

业务系统

教务系统

学工系统

人事系统

科研系统

资产系统

财务系统

认证系统

图书系统

就业系统

……

数据中心

教育部标准 抽取 转换 加载

共享数据库

教工分析

财务分析

资产分析

……

综合信息查询

高基表

……

1.数据中心数据量少2.非结构化数据无法纳入3.缺乏便利的监控管理工具4.数据交换实时性差5.数据交换效率低

?

传统数据中心使用面临的问题

思考1：数据治理模式的变革

传统数据治理过程 应用驱动型数据治理过程

目的： 支撑数据共享交换 目的： 支撑数据的综合分析

范围： 以主数据为主（不含过程数据） 范围： 基础数据、过程数据、结果数据

过程控制： 线下文档方式 过程控制： 线上工具为主、文档为辅

底层架构： Oracle/SqlServer 底层架构：

Oracle/SqlServer+Hadoop

思考2：数据治理范围的变革

传统数据治理范围 应用驱动型数据治理范围

10% 80%业务数据 业务数据

机器数据

外部数据

思考3：数据治理过程控制的变革

传统数据治理过程 新型数据治理过程

数据标准： 线下管理 数据标准： 线上管理

数据流向： ETL工具+文档 数据流向： 工具集成

数据质量： 线下管理 数据质量： 线上管理

文档管理： 线下管理 文档管理： 线上管理

思考4：数据质量管理的变革

传统数据质量管理 新型数据质量管理

管理机制： 以制度规范各业务系统 管理机制： 制度为主、自动化工具为辅

量化方式： 人工被动检测 量化方式： 工具主动检测

通知方式： 被动响应 通知方式： 主动提醒

控制手段： 人工 控制手段： 工具为主

思考5：数据安全保障的变革

传统主数据平台 新型大数据平台

访问安全： 用户权限控制 访问安全： 用户权限控制

数据交换： 严格控制数据库账户 数据交换： 用户权限+访问加密

容灾安全： 数据库主备策略 容灾安全： 分布式副本容灾机制

1.架构上解决全量数据统一存储和计算

2.工具上实现数据治理的可视化

3.平台提供数据的统一管理与运营

夯实数据基础，构建统一平台

ETL工具（ODI/Kettle）

结构化数据

学工 ………财务科研 消费教务 无线日志 ......网络日志URL日志

非/半结构化数据

一卡通

Flume

用户权限分配

用户注册认证

数据源监控

数据源管理

API使用申请

API接口定义

应用发布

应用申请

脱敏处理

安全审计

Hadoop大数据集群传统数据中心

大数据管理平台

任务查看

元数据

版本管理

数据标准

数据监控

数据质量

MongoDBNOSQL数据库

大数据应用呈现

第三方分析工具

日志模板 日志任务 结果查看

分布式文件系统/HDFS

Spark-SQL数据计算

Spark批量计算/关联

ODS数据集中库

TYDB共享数据集

数据清洗

数据转换

数据源

数据存储

数据管理

数据应用

数据治理线上的可视化管控工具

元数据管理 标准管理 血缘关系 历史数据 数据质量 数据发布 任务监控

数据统一管理和发布流程

数据源管理 用户管理 API接口定义 接口查看 接口审核 接口调用 应用发布

对业务数据的全局进行掌控

对日志数据的全局进行掌控

找到和掌握学校的全量数据资产

让数据能够更好的支撑学校的各方面业务工作和战略决策

业务系统数据 机器日志数据 外部互联网数据

教务系统 学工系统

科研系统研究生系

统

人事系统

资产系统 财务系统

就业系统

宿舍系统

校友管理系统

图书馆系统

……

无线Wi-Fi日志

上网URL日志

系统访问日志

系统登录日志安全设备日志

上网认证日志

数据库审计日志 ……社交媒体

论文数据

专利数据

Research-Gate软件著作权数据

科研数据

统一数据管理平台

数据治理工具 日志处理工具 数据超市

总结：以平台为基础，数据治理为核心

高端人才发现 科研分析 教学分析 学生综合预警

基于平台的应用开发呈现学生个人画像

基本校情KPI 基本办学条件教学主题 科研主题 人事主题

综合校情

谢谢！