《数字化校园系统项目建设意见.docx》由会员分享,可在线阅读,更多相关《数字化校园系统项目建设意见.docx(6页珍藏版)》请在优知文库上搜索。
1、数字化校园系统项目建设意见一、总体要求通过数字化校园项目建设,构造能够满足学校信息化长期持续发展的数字化校园支撑平台,为应用系统建设提供良好的支持和服务。平台坚持“开放、融合”的总设计原则,具有开放性、灵活性、拓展性等特性,坚持统一的标准与规范,并在此基础上实现各应用的整合接入和统一管理。融合数据、应用、服务,打造面向全用户,全终端发布,全场景支持的数字化校园生态。最终建成完整统一、技术先进、覆盖全面、应用深入,高效稳定、安全可靠的数字化校园,建立高效统一的数字化校园系统,实现部门间流程通畅,对校园的各项服务管理工作和广大教职工提供无所不在的一站式服务。提高工作效率,提高管理效率,提高决策效率
2、,提高信息利用率,提高核心竞争力,总体水平达到国内一流,满足教学、管理和生活的需要。二、具体任务1.数据中台1.1离线交换需要支持库表、文件、服务数据跨部门、跨网络周期或一次性交换,需要支持分钟、小时、日、周、月多种周期触发方式与手动触发。需要支持全量和增量数据交换,数据插入和更新的写入模式,需要支持图形化展示数据交换链路整体执行情况。1.2实时交换需要支持解析数据库日志,获取数据库的库表结构变化和数据增量,针对数据库中数据的变化(包括数据的增加、删除和修改)进行捕获、过滤和分析,完成增量、变量数据捕获。1. 3运行监控需要提供从任务综合分析、数据源分析、前置综合分析几个方面,针对平台交换任务
3、、数据源、交换数据量和前置机运行情况等进行综合分析,需要支持数据流监控,监控数据流转信息,包括数据在指定周期内有无增量情况以及增量波动异常情况。2. 4元数据采集需要内置丰富的关系型、ET1.,接口、数据服务等采集适配器,针对不同数仓数据源和治理任务的元数据自动化采集能力。同时,提供数据源采集任务自动生成的集中管理,实现不同采集策略配置。3. 5元模型管理需要根据CWM规范为基础,针对数据对象主要实体进行精确定义,元数据管理统一遵循的元模型,定义元模型标准规范的目的是建立统一元数据管理标准。4. 6元数据分析需要提供全链路血缘影响分析,自动化采集操作元数据,更新数据血缘关系,直观反映数据的来源
4、与加工过程。4.7 数据地图需要提供数据资产全景视图,支持数据智能搜索,查看资产详情,支持分析全链路数据血缘、预览数据等。需要支持数据地图功能,自动刻画出元数据间的血缘影响关系,建立对象、对象属性、任务、作业之间的关系信息。需要支持数据溯源功能,对实例数据进行溯源,支持查询数据的溯源信息,包含数据项总数、相同项个数、不同项个数等,展示数据流转情况并将不同数据以颜色区分,支持查看数据流程过程中转换信息。4.8 数据目录需要支持对资产的检索、查看、新增、编辑等。1. 9数据质量需要提供准确性、一致性、完整性、有效性、唯一性等维度数据质量规则,支持强检查、弱检查等不同类型检查规则,需要支持复用模板或
5、通过图形化拖拉拽方式,配置质量检查任务,对数据进行核查校验,及时发现数据质量问题;支持智能推荐最佳质量检查规则;需要支持对数据质量问题及相关信息进行汇总、统计和分析,并生成统一数据质量分析报告。1.10数据探查需要提供多种探查规则,对源数据的数据源、库、数据集、信息项等进行智能探查,自动分析探查结果;需要支持基于数据元识别挖掘模型智能推荐数据元,进行智能对标。1.I1.智能数据建模需要支持根据业务规则可视化构建数据模型,编排数据处理流程;需要支持查看数据处理过程情况,及时调整业务规则;需要支持发布共享模型,复用模型进行调整。1.12租户管理功能需要支持租户管理功能,面向租户提供应用和数据资源隔
6、离的数据治理能力,通过系统为不同租户开通相应的工作空间。支持对空间的成员进行添加、编辑、移除,为成员授权空间内应用的角色权限a)数据集成能力需要支持多种异构数据源集成,提供数据转换、数据映射、数据脱敏、数据加解密等数据预处理能力,实现来源数据全量或增量模式的主动抽取;支持通过可视化方式创建和管理集成任务b)标准管理功能需要支持标准数据元、标准字典、标准文档等数据标准的集中管理,支持从PDF标准规范文档提取数据元和数据字典信息,支持新增、变更、下线、废止、启用等操作的数据标准审核;支持根据中文名称、英文名称、数据类型、数据长度、标准数据集等数据标准落地评估;支持模型的稽核检查,检查模型落标情况,
7、促进模型设计的标准化2.数据治理2. 1离线开发需要提供面向离线数据进行数据处理加工,按照工作空间化方式管理数据开发全过程。提供在线脚本编辑器,支持进行RDSSq1、SparkSqkHiveSq1.sShe1.1、Python,存储过程、She1.1.等脚本的开发治理和调测;支持基于SQ1.分析的智能血缘提取;支持脚本格式化、代码联想补齐、在线执行、调试、查询执行计划等;支持数据集成、数据质量、数据规整、数据开发等多种任务类型编排,通过多种任务DAG组织完成复杂数据开发治理场景。支持AI智能推荐数据规整规则;支持智能血缘提取能力,同时也支持基于代码模式或界面拖拽配置模式进行血缘关系手工配置。2
8、. 2实时开发需要提供针对实时数据处理场景基于实时引擎实现流式数据的处理加工,按照工作空间化方式管理数据开发全过程。提供Spark任务、F1.inkSq1.开发等脚本的开发治理和调测。支持版本管理,包括版本比对、版本回退等;支持基于SQ1.分析的智能血缘提取;2. 3函数管理需要提供自定义函数能力,需要支持FIink、HiVe等UDF函数的开发和提交,脚本开发过程中可直接使用函数,辅助快速开发过程。2. 4调度运维需要支持作业监控、任务监控、作业/任务日志、作业日志重跑、补数据等能力;需要支持按时间任务触发机制,需要支持分钟、小时、天、周和月等多种调度周期;需要支持异常任务短信或邮件告警。2.
9、 5数据服务需要支持数据服务生产、测试、发布、注册全流程;支持通过配置化或SQ1.方式快速开发AP1.服务;支持查看服务日志,包括请求时间、响应时长、请求方IP、请求结果2. 6数据监控需要支持数据流监控,监控数据流转信息,包括数据在指定周期内有无增量情况以及增量波动异常情况。2.7数据共享需要支持共享门户中资源使用功能,包括数据库表订阅、服务接口调用、文件夹订阅、文件下载功能,并查看使用记录及共享记录;支持共享门户中资源注册功能,包括库表注册、服务接口注册、文件夹注册、文件上传功能。2.8数据建模需要支持根据业务规则可视化构建数据模型,编排数据处理流程;支持查看数据处理过程情况,及时调整业务
10、规则;支持发布共享模型,复用模型进行调整。3.驾驶舱3.1 工作台需要支持制作可视化应用的入口,需要支持通过模板快速创建应用。3. 2我的应用需要支持配置可视化报表的入口和载体,需要提供新建、编辑、保存、分享、演示、导出、预览、存为模板等功能。3. 3设计资源需要提供模板市场、我的模板、素材库、我的组件和放映室等功能,需要支持数据大屏和分析报告两种场景。3. 4数据管理需要提供数据集、数据源的配置管理。3. 5发布管理需要支持用于管理已发布的应用,创建的应用发布通过后,即可支持分享,需要支持将创建的应用分享给其他用户。3. 6驾驶舱大屏需要全面呈现学校各业务单元的概况,让学校领导能实时全面了解
11、学校各核心部门工作的情况。需要支持按照校方要求定制相关主题展示,如学生主题、人事主题、教学主题等。4.数据填报4.1 系统管理需要支持用户管理,支持与校业务系统数据对接,需要支持角色管理,支持角色权限管理,需要支持部门管理,支持与校业务系统数据对接,需要支持职务管理,支持与校业务系统数据对接,需要支持数据字典,树形字典管理,需要支持多租户模式,需要支持权限管理,支持菜单权限、数据权限、按钮权限、字段权限管理4. 2数据填报需要支持自助填报界面的自定义设计,填报界面设计元素包括文本框、下拉框、日期选择器、单选框、复选框、文件、字典树、部门选择、用户选择、富文本、markdown.多行文本、下拉搜
12、索、下拉多选等多种,数据元素支持默认值、数据校验规则配置、数据异常提醒、UR1.链接配置等,需要支持与数据库表关联并支持多表关联,填报数据源需要支持MySQ1.、OracIeSQ1.serverpostgresq1、maria1.DB达梦、DB2等,需要支持SQ1.、java、javascript等方式的功能拓展,需要支持配置检索元素,数据填报表单支持多列模式,填报界面支持实时预览,填报界面支持权限的配置管理,支持树形列表,支持数据列表分页,填报界面支持按钮权限配置管理。需要支持填报Exce1.模版下载、Exce1.数据导入及批量导入,需要支持Exce1.导入异常数据提醒,支持Exce1.数据
13、按照字典表、国标等进行智能转换,需要支持Exce1.填报功能权限的配置管理,需要支持与校数据中心或业务系统等对接完成智能数据填报,支持数据填报内容的审核人配置、审核、退回及批量操作功能,需要支持填报数据集、数据字典及数据标准的管理。数据集的设计支持与数据库表模型同步。需要支持数据库表模型智能转换成数据集,需要支持异常数据填报提醒。4. 3消息管理需要支持多种消息通知渠道,如站内信、电子邮件、短信、推送通知等。用户可以根据自己的偏好和可用性接收通知,需要支持创建、编辑和删除消息。需要支持设置消息的有效期限、接收对象、消息内容等。需要支持多种消息类型,如公告、提醒、任务、重要通知等,消息类型需要具
14、有不同的重要性和紧急性级别。4. 4报表自定义需要支持数据报表自定义,支持报表布局和样式设计,报表包括柱状图、折线图、饼图等类型,报表数据源支持各种数据库、API、JSON等数据源4. 5系统监控需要支持系统历史操作日志查看,包括登录日志、操作日志、异常日志等。日志管理有助于跟踪系统的运行状况和审计操作,需要支持系统运行环境的监控管理,监测服务器资源、应用程序性能、日志和安全性等。需要支持资源利用率监控,包括监测服务器的负载、存储容量、数据库连接池使用等。三、技术要求平台和系统均要求采用B/S结构,可运行于Unix、1.inuXsWindoWS等高安全性操作系统。开发技术应采用J2EE标准、组
15、件技术及在数据交换上对XM1.的支持,使系统功能最优化,同时将整体系统内部在技术上的相互依赖性减至最低。具体要求如下:(I)平台及应用系统软件须遵循J2EE的技术路线,采用JaVa编程语言和服务器端Java技术进行开发,业务应用系统和数据集成平台均须基于mysq1.数据库。(2)采用面向对象的组件技术,着重于开发构成应用程序“业务对象”的可重复使用的组件,利用这些组件顺利地建立分布式应用程序。(3)采用成熟的SOA架构及设计理念,保证学校内部各业务系统集成和交互过程中异构技术架构和异构数据结构集成中的稳定性和可管理性。(4)应用程序开发与运行结构要基于统一的技术开发平台的三层架构,即Web服务器、应用支撑服务器和数据库服务器。(5)系统必须支持负载均衡,支持动态监测负载状况,自动对可用资源进行并发检测,调整和分配等功能。