数据交换平台_创建数据源_深圳市牛娃教育科技有限公司

一.概述

DataSW Web是一款数据交换工具，提供简单易用的WEB操作界面，降低用户使用DataSW的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过web页面选择数据源即可创建数据同步任务，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能。

随着学校信息化不断发展，学校各部门业务系统异构、数据库封闭、各自为政，已不能满足用户对一体化校园的需求（如跨系统数据访问的需求）。校园系统由独立分散化逐步向集成一体化发展已十分必要。

举例: 学校学籍管理系统和校园卡系统实现学生基本数据共享,用本平台学籍管理作为数据源头,校园卡系统作为目录库写入,解决学校两系统重复录入的疼点。

二、技术特点

1、技术特点

易用：全部操作提供web界面完成，无须编写程序代码，实现业务系统数据交换；

全面：支持Mysql、 SqIServer、 Postgres、 Oracle等多种常用数据库；

灵活：支持日志表跟踪、通过时间戳或增长字段扫描跟踪等多种方式

专业：结构变动、数据更新、数据删除、日志存储、数据发布等专业化功能服务应用体系；

2、技术优势

产品采用最新的微服务架构,前端采用采用HTML5技术，后端采用 springboot+mybatis+shiro+cas集成框架， thymeleaf前端模板框架， shiro安全框架。

3、数据交换逻辑架构

逻辑架构支持元数据定义、数据标准化、数据清洗、异构交换等；

三、部分功能介绍

1.平台部分界面

平台登录

平台主体框架

2.创建数据源

为数据交换建立数据源,比如:将学生管理系统同步学生信息到校园卡系统,那么将学生系统数据库作为数据源建立;

3.字段映射

为数据源表字段和写入目的表字段配置映射关系;比如:对学生系统学生字端信息与校园卡系统学生字段信息建立映射关系;方便记录写入;

4.任务创建

任务构建配置,建立任务执行任务脚本,如:学生信息产生新生记录,自动同步到校园卡系统,无须重复习录入;

阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；

单机串行：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；

丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；

覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；

5.任务管理

对上面映射关系产生json脚本,方便任务执行器轮循执行,实现实时的数据交换;

6. 查看日志

可以点击查看日志，实时获取日志信息,终止正在执行的DataSW进程

四、系统运行环境

Language: Java 8（jdk版本建议1.8.201以上）

Environment: Linux Database: Mysql5.7

五、著作权

数据交换平台