DataX Web 2.1.2 发布

微野
 微野
发布于 2020年06月29日
收藏 73

精选30+云产品,助力企业轻松上云!>>>

DataX Web是在DataX之上开辟的分布式数据同步对象,供给简单易用的操作界面,降低用户应用DataX的进修本钱,延长义务设备时间,防止设备过程当中掉足。用户可经过过程页面选择数据源便可创建数据同步义务,RDBMS数据源可批量创建数据同步义务,支撑及时检查数据同步进度及日记并供给终止同步功能,集成并二次开辟xxl-job可根据时间、自增主键增量同步数据。

义务"履行器"支撑集群安排,支撑履行器多节点路由战略选择,支撑超时控制、掉败重试、掉败告警、义务依附,履行器CPU.内存.负载的监控等等。后续还将供给更多的数据源支撑、数据转换UDF、表构造同步、数据同步血缘等更加复杂的营业场景。

v-2.1.2

新增

  • 添加项目管理模块,可对义务分类管理;
  • 对RDBMS数据源增长批量义务创建功能,选择数据源,表便可根据模板批量生成DataX同步义务;
  • JSON构建增长ClickHouse数据源支撑;
  • 履行器CPU.内存.负载的监控页面图形化;
  • RDBMS数据源增量抽取增长主键自增方法并优化页面参数设备;
  • 改换MongoDB数据源连接方法,重构HBase数据源JSON构建模块;
  • 脚本类型义务增长停止功能;
  • rdbms json构建增长postSql,并支撑构建多个preSql,postSql;
  • 归并datax-registry模块到datax-rpc中;
  • 数据源信息加密算法修改及代码优化;
  • 时间增量同步支撑更多时间格局;
  • 日记页面增长DataX履行成果统计数据;

升级:

  • PostgreSql,SQLServer,Oracle 数据源JSON构建增长schema name选择;
  • DataX JSON中的字段称号与数据源关键词分歧成绩优化;
  • 义务管理页面按钮展示优化;
  • 日记管理页面增长义务描述信息;
  • JSON构建前端form表单不克不及缓存数据成绩修复;
  • HIVE JSON构建增长头尾选项参数;

System Requirements

  •  Language: Java 8(jdk版本建议1.8.201以上)<br>
  •   Python2.7(支撑Python3须要修改调换datax/bin下面的三个python文件,调换文件在doc/datax-web/datax-python3下)
  • Environment: MacOS, Windows,Linux
  • Database: Mysql5.7

Features

  • 1、经过过程Web构建DataX Json;
  • 2、DataX Json保存在数据库中,便利义务的迁徙,管理;
  • 3、Web及时检查抽取日记,类似Jenkins的日记控制台输入功能;
  • 4、DataX运转记录展示,可页面操作停止DataX作业;
  • 5、支撑DataX准时义务,支撑静态修改义务状况、启动/停止义务,和终止运转中义务,即时失效;
  • 6、调剂采取中间式设计,支撑集群安排;
  • 7、义务分布式履行,义务"履行器"支撑集群安排;
  • 8、履行器会周期性主动注册义务, 调剂中间将会主动发明注册的义务并触发履行;
  • 9、路由战略:履行器集群安排时供给丰富的路由战略,包含:第一个、最后一个、轮询、随机、分歧性HASH、最不常常应用、比来最久未应用、毛病转移、劳碌转移等;
  • 10、阻塞处理战略:调剂过于密集履行器来不及处理时的处理战略,战略包含:单机串行(默许)、抛弃后续调剂、覆盖之前调剂;
  • 11、义务超时控制:支撑自定义义务超不时间,义务运转超时将会主动中断义务;
  • 12、义务掉败重试:支撑自定义义务掉败重试次数,当义务掉败时将会按照预设的掉败重试次数主动停止重试;
  • 13、义务掉败告警;默许供给邮件方法掉败告警,同时预留扩大接口,可便利的扩大短信、钉钉等告警方法;
  • 14、用户管理:支撑在线管理体系用户,存在管理员、浅显用户两种角色;
  • 15、义务依附:支撑设备子义务依附,当父义务履行停止且履行成功后将会主动触发一次子义务的履行, 多个子义务用逗号分隔;
  • 16、运转报表:支撑及时检查运转数据,和调剂报表,如调剂日期分布图,调剂成功分布图等;
  • 17、指定增量字段,设备准时义务主动获得每次的数据区间,义务掉败重试,包管数据安然;
  • 18、页面可设备DataX启动JVM参数;
  • 19、数据源设备成功后添加手动测试功能;
  • 20、可以对经常使用义务停止设备模板,在构建完JSON以后可选择接洽关系模板创建义务;
  • 21、jdbc添加hive数据源支撑,可在构建JSON页面选择数据源生成column信息并简化设备;
  • 22、优先经过过程情况变量获得DataX文件目次,集群安排时不消指定JSON及日记目次;
  • 23、经过过程静态参数设备指定hive分区,也能够合营增量完成增量数据静态拔出分区;
  • 24、义务类型由本来DataX义务扩大到Shell义务、Python义务、PowerShell义务;
  • 25、添加HBase数据源支撑,JSON构建可经过过程HBase数据源获得hbaseConfig,column;
  • 26、添加MongoDB数据源支撑,用户仅须要选择collectionName便可完成json构建;
  • 27、添加履行器CPU、内存、负载的监控页面;
  • 28、添加24类插件DataX JSON设备样例
  • 29、公共字段(创建时间,创建人,修改时间,修改者)拔出或更新时主动填充
  • 30、对swagger接口停止token验证
  • 31、义务增长超不时间,对超时义务kill datax过程,可合营重试战略防止搜集成绩招致的datax卡逝世。
  • 32、添加项目管理模块,可对义务分类管理;
  • 33、对RDBMS数据源增长批量义务创建功能,选择数据源,表便可根据模板批量生成DataX同步义务;
  • 34、JSON构建增长ClickHouse数据源支撑;
  • 35、履行器CPU.内存.负载的监控页面图形化;
  • 36、RDBMS数据源增量抽取增长主键自增方法并优化页面参数设备;
  • 37、改换MongoDB数据源连接方法,重构HBase数据源JSON构建模块;
  • 38、脚本类型义务增长停止功能;
  • 39、rdbms json构建增长postSql,并支撑构建多个preSql,postSql;
  • 40、数据源信息加密算法修改及代码优化;
  • 41、日记页面增长DataX履行成果统计数据;

Quick Start:

 请点击:Quick Start
 Linux:一键安排
 Docker镜像:地址


Introduction:

1.履行器设备(应用开源项目xxl-job)

  • 1、"调剂中间OnLine:"右边显示在线的"调剂中间"列表, 义务履行停止后, 将会以failover的形式停止回调调剂中间告诉履行成果, 防止回调的单点风险;
  •  2、"履行器列表" 中显示在线的履行器列表, 可经过过程"OnLine 机械"检查对应履行器的集群机械;

履行器属性解释


1、AppName: (与datax-executor中application.yml的datax.job.executor.appname保持分歧)
   每个履行器集群的唯一标示AppName, 履行器会周期性以AppName为对象停止主动注册。可经过过程该设备主动发明注册成功的履行器, 供义务调剂时应用;
2、称号: 履行器的称号, 由于AppName限制字母数字等构成,可读性不强, 称号为了进步履行器的可读性;
3、排序: 履行器的排序, 体系中须要履行器的处所,如义务新增, 将会按照该排序读取可用的履行器列表;
4、注册方法:调剂中间获得履行器地址的方法;
    主动注册:履行器主动停止履行器注册,调剂中间经过过程底层注册表可以静态发明履行器机械地址;
    手动录入:人工手动录入履行器的地址信息,多地址逗号分隔,供调剂中间应用;
5、机械地址:"注册方法"为"手动录入"时有效,支撑人工保护履行器的地址信息;
 

2.创建数据源

第四步应用

3.创建义务模版

第四步应用

4. 构建JSON脚本

  • 1.步调一,步调二,选择第二步中创建的数据源,JSON构建今朝支撑的数据源有hive,mysql,oracle,postgresql,sqlserver,hbase,mongodb,clickhouse 其它数据源的JSON构建正在开辟中,临时须要手动编写。

  • 2.字段映照

  • 3.点击构建,生成json,此时可以选择复制json然后创建义务,选择datax义务,将json粘贴到文本框。也能够点击选择模版,直接生成义务。

5.批量创建义务


 6.义务创建简介(接洽关系模版创建义务不再简介,详细参考4. 构建JSON脚本)

DataX义务

Shell义务

Python义务

PowerShell义务

  1.  义务类型:今朝支撑DataX义务、Shell义务、Python义务、PowerShell义务;
  2. 阻塞处理战略:调剂过于密集履行器来不及处理时的处理战略;
  • 单机串行:调剂请求进入单机履行器后,调剂请求进入FIFO队列并以串行方法运转;
  • 抛弃后续调剂:调剂请求进入单机履行器后,发明履行器存在运转的调剂义务,本次请求将会被抛弃并标记为掉败;
  • 覆盖之前调剂:调剂请求进入单机履行器后,发明履行器存在运转的调剂义务,将会终止运转中的调剂义务并清空队列,然后运转本地调剂义务;
  • 增量增新建议将阻塞战略设置为抛弃后续调剂或许单机串行
  • 设置单机串行时应当留意公道设置重试次数(掉败重试的次数*每次履行时间<义务的调剂周期),重试的次数假设设置的过量会招致数据反复,例如义务30秒履行一次,每次履行时间须要20秒,设置重试三次,假设义务掉败了,第一个重试的时间段为1577755680-1577756680,重试义务没停止,新义务又开启,那新义务的时间段会是1577755680-1577758680

增量参数设置

分区参数设置

 7. 义务列表

8. 可以点击检查日记,及时获得日记信息,终止正在履行的datax过程



9.义务资本监控

10. admin可以创建用户,编辑用户信息


UI

前端github地址

Contributing

Contributions are welcome! Open a pull request to fix a bug, or open an Issue to discuss a new feature or change.

迎接参与项目供献!比如提交PR修复一个bug,或许新建 Issue 评论辩论新特点或许变革。

Copyright and License

MIT License

Copyright (c) 2020 WeiYe

产品开源收费,并且将持续供给收费的社区技巧支撑。小我或企业外部可自在的接入和应用。

> 迎接在 [挂号地址](https://github.com/WeiYe-Jing/datax-web/issues/93) 挂号,挂号仅仅为了产品推行和晋升社区开辟的动力。

 

v-2.1.1

新增

1. 添加HBase数据源支撑,JSON构建可经过过程HBase数据源获得hbaseConfig,column;
2. 添加MongoDB数据源支撑,用户仅须要选择collectionName便可完成json构建;
3. 添加履行器CPU.内存.负载的监控页面;
4. 添加24类插件DataX JSON设备样例
5. 公共字段(创建时间,创建人,修改时间,修改者)拔出或更新时主动填充
6. 对swagger接口停止token验证
7. 义务增长超不时间,对超时义务kill datax过程,可合营重试战略防止搜集成绩招致的datax卡逝世。

升级:

1. 数据源管理对用户名和暗码停止加密,进步安然性;
2. 对JSON文件中的用户名暗码停止加密,履行DataX义务时解密
3. 对页面菜单整顿,图标升级,提示信息等交互优化;
4. 日记输入撤消项目类名等有关信息,减小文件大年夜小,优化大年夜文件输入,优化页面展示;
5. logback为从yml中获得日记途径设备

修复:

1. 义务日记过大年夜时,检查日记报错,请求超时;

项目筹划

本站文章除注明转载外,均为本站原创或编译。迎接任何情势的转载,但请务必注明出处,尊敬他人休息共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.aledoyoga.com]
本文标题:DataX Web 2.1.2 发布
加载中
此消息有 15 条评论,请先登录后再检查。
前往顶部
顶部