世通大数据集成平台THIngest

     世通大数据集成平台(THIngest),是一款通用的数据采集、治理/数据处理软件,解决对数据湖获取、治理、感知和技术支持等诸多问题。

     通过友好GUI界面,业务人员可以按照他们关心的方式来操作数据,包括: 创建数据源、定义数据加载、数据预处理、转换,发布到目标系统。因为不需要部署任何代码,也不需要依赖IT部门,业务人员做到了对项目的完全掌控,从而极大的减少项目所需的时间。

     用户通过世通数据集成平台可以建立和管理数据模型,建立和管理数据源,建立和管理主数据,设计 ETL 流程以从各种数据源中抽取数据、转换/清洗数据、把数据加载到数据仓库或数据中心,调度和监控 ETL作业的运行状态,将 ETL作业通过 HA 集群分布到不同的 ETL服务器上运行。

     世通数据集成平台除了支持各种常见的数据库如 Oracle、 DB2、 MySQL  等,还支持各种平面文件,另外支持  Hadoop、 HBase、 MongoDB  等 NoSQL 数据源。世通数据集成平台内置了百余种转换插件,开发人员通过流程图式的设计方式就可以快速开发数据处理程序,使开发人员专注于业务逻辑,而不用深入到一些技术细节上。

    功能包括:

前端交互引擎

    交互引擎作为集成平台与大数据基础平台的接口

数据管道引擎

    移植与改造该模块作为平台的数据集成管道

工作流引擎

    调用大数据基础平台工作流引擎

安全管理

    调用基于大数据基础平台3A框架

元数据管理

    调用大数据基础平台数据治理框架

    调用数据集成平台元数据管理引擎