WhaleStudio 2.6正式发布,WhaleTunnel同步性能与连接器数量再创新高!
吴盛
2024-07-02 00:00:00
图灵汇官网
数据集成新时代:WhaleTunnel 2.6 版本深度解析
引言
在数据驱动的时代,数据集成的重要性日益凸显。WhaleTunnel,作为一款全球领先的批流一体化数据集成工具,凭借其在性能、稳定性和功能方面的显著提升,成为了企业决策和创新的关键推手。伴随WhaleStudio 2.6版本的发布,WhaleTunnel不仅强化了其数据传输速度、准确率和稳定性,还在连接器和功能上实现了重大突破,为企业数据集成提供了全面升级的解决方案。
主要更新亮点
数据源丰富性
- 新增数据源:WhaleTunnel 2.6版本引入了188个数据源,涵盖多种类型,满足企业不同场景的数据集成需求。
- 增强兼容性:新增数据源支持,如CSV文件压缩格式读写、DBF、Debezium-Json等格式,提升了文件数据处理的灵活性和效率。
性能优化
- 信创ARM CPU优化:Zeta Engine针对ARM内核CPU进行了深度优化,大幅提升了性能,确保数据处理任务在现代计算架构下的高效执行。
数据集成与调度集成
- WhaleScheduler集成:与WhaleScheduler的无缝集成,支持增量同步、参数传递等功能,增强了数据内容控制的灵活性和准确性。
- 独立调度组件:引入实时调度和批量调度组件,实现更灵活的任务调度管理,支持微批任务的串行等待等复杂操作。
监控与告警系统
- 告警机制:离线同步新增失败、超时告警,实时同步新增失败告警和DDL变更事件告警,有效预防和快速响应异常情况。
文件与NoSQL数据源支持
- 文件数据源优化:新增CSV文件类型支持,增强对压缩格式的读写能力,提供表头控制选项。
- NoSQL数据源增强:创建虚拟表时支持配置主键,自动建表时使用该主键,提升数据一致性与查询效率。
CDC同步增强
- 唯一索引与无主键表同步:支持拥有唯一索引的表同步与无主键表的同步,适应多样化数据库设计需求。
结语
WhaleTunnel 2.6版本的发布,标志着数据集成领域的又一次技术飞跃。这款工具不仅提供了强大的数据传输与集成能力,还通过与WhaleScheduler的深度整合,为企业提供了高效、灵活的数据处理与管理解决方案。通过丰富的数据源支持、优化的性能、先进的监控与告警系统,以及对多样数据类型的全面支持,WhaleTunnel 2.6为数据驱动的业务成功铺平了道路。
关于白鲸开源
白鲸开源是一家专注于开源原生DataOps的企业,致力于打造下一代DataOps平台,以提升企业大数据与云时代的数据集成、调度开发和治理效率。作为国家高新技术企业,白鲸开源由Apache Foundation的活跃成员组成,运营着DolphinScheduler与SeaTunnel两大全球知名的Apache开源项目。白鲸开源的商业产品WhaleStudio集成了WhaleScheduler和WhaleTunnel,旨在帮助企业智能化地应对多数据源、多云及信创环境下的数据挑战。
如需了解更多功能或探讨如何将WhaleStudio融入您的业务流程,请随时联系我们。我们期待与您共同探索数据集成的无限可能。