DataPipeline

DataPipeline企业级实时数据融合平台是一款基于DataOps理念构建的批流一体数据融合平台。该平台采用基于日志的增量数据获取技术（Log-based Change Data Capture），支持异构数据之间丰富、自动化、准确的语义映射构建，同时满足实时与批量的数据处理需求。平台可实现Oracle、IBM DB2、MySQL、MS SQL Server、PostgreSQL、GoldenDB、TDSQL、OceanBase等数据库准确的增量数据获取。平台具备数据全、传输快、强协同、更敏捷、极稳定、易维护六大特性，为企业提供全面的数据节点支持，包括关系型数据库、NoSQL数据库、国产数据库、数据仓库、大数据平台、云存储、API等多种数据节点类型，并支持自定义数据节点。通过高性能实时处理能力，平台提供TB级吞吐量和秒级低延迟的增量数据处理，加速企业各类场景的数据流转。平台采用分层管理模式，将企业级平台的建设周期从三到六个月减少为一周，同时提供无代码敏捷管理，通过限制配置与策略配置等十余种高级配置，将数据融合任务的研发交付时间从2周减少为5分钟。平台采用分布式架构，所有组件均支持高可用，提供丰富容错策略，应对上下游的结构变化、数据错误、网络故障等突发情况，保证系统业务连续性要求。