WhaleStudio 2.6重磅发布!调度模块WhaleScheduler更新78项核心功能

图灵汇官网

WhaleStudio 2.6版本发布,数据调度与集成创新升级

引领数据工作流新纪元

WhaleStudio 2.6版本正式发布,聚焦数据调度与集成领域,引入全新功能与优化,旨在为用户提供更高效、便捷的数据处理体验。本版本亮点包括WhaleScheduler与WhaleTunnel的多项核心功能更新,尤其在实时任务管理、工作流复制功能增强、依赖任务功能优化以及多种任务功能提升等方面实现了显著突破。

领先的数据调度系统

WhaleScheduler,作为全球领先的数据工作流调度系统,秉承开放性与易用性原则,结合开源与商业优势,支持多云与信创环境的数据源与部署。在2.6版本中,WhaleScheduler进行了深度优化,针对实时数据仓库支持、工作流复制功能、依赖任务处理以及多种任务功能进行了显著升级。

实时任务管理的革新

多种实时任务全面支持

在实时数据处理方面,WhaleScheduler新增对Spark Streaming、Flink Streaming与WhaleTunnel Streaming(CDC)的支持,提供更为丰富的实时任务管理功能。用户可便捷地进行编辑、管理、控制和删除操作,提升实时数据仓库的开发能力。

高级配置与编辑功能

针对实时任务,WhaleScheduler引入了高级配置与编辑功能,包括Jar任务托管、Flink实时组件配置与WhaleTunnel CDC任务参数传递。这些功能旨在提升实时任务的灵活性与可控性,为用户提供更强大的数据处理工具。

工作流复制功能的增强

逻辑任务节点复制

WhaleStudio 2.6版本显著增强了工作流复制功能,支持复制包含逻辑任务节点的工作流,简化了不同项目间资源与配置的共享,极大地提高了工作效率。

子工作流级联复制与跨项目复制

新增的子工作流级联复制与跨项目复制功能,使得用户能够轻松复制整个工作流结构,包括所有嵌套的子工作流,无需手动复制每个节点,进一步提升了工作流的使用便捷性。

依赖任务功能的强化

弱依赖模式与业务日期修改

WhaleScheduler在依赖任务功能上进行了多项改进,包括引入弱依赖模式,允许任务执行失败而不阻断流程,以及明确表示牌日期依赖规则。新增的月维度时间依赖选项与牌日期依赖优化,增强了时间依赖的灵活性。

多种任务功能的优化

SQL任务参数传递与DATA QUALITY任务增强

优化了SQL任务的参数传递机制,支持多行返回结果的获取与传递。同时,DATA QUALITY任务引入了参数变量替换功能,允许使用循环节点或前一个SQL节点内容批量控制数据质量,提升了数据质量管理的动态性与灵活性。

新增BREAK逻辑任务节点与资源池优先策略设置

新增BREAK任务节点,允许在执行到此节点时自动暂停流程并发送告警通知,增强工作流的灵活性与异常处理能力。资源池配置优化了优先策略设置,用户可选择任务优先或工作流优先,以优化资源分配与任务调度。

展示性能与用户体验的提升

整体展示性能优化

2.6版本对展示性能进行了优化,支持同时展示数千个节点,重构了展示范围与逻辑,以起点为中心展示依赖关系,显著提高了画面清晰度与操作性能。同时,改进了页面搜索逻辑,提升了搜索效率与页面响应速度。

导入导出与管理工作流

权限校验与模板更新

引入了工作流导入时的权限校验功能,确保导入数据的完整性和安全性。更新了工作流Excel导入导出模板,优化了工作流上下线流程,允许用户在工作流上线后查看配置信息,提高了管理效率。

列表优化与界面美化

调整了工作流定义名称列的宽度比例,增加了列表中每列的宽度上限,确保界面整洁美观,提升用户体验。

总结与展望

WhaleScheduler 2.6版本带来了78项核心功能更新,覆盖了工作流复制、实时任务管理、导入导出管理、多种任务功能、依赖任务增强与资源池配置优化等多个方面。通过这些创新升级,WhaleStudio为用户提供了一站式的数据集成与调度解决方案,旨在助力企业提升数据分析效率与决策能力。如果您对WhaleStudio感兴趣,欢迎试用WhaleScheduler,开启您的数据处理之旅。

开源项目与社区参与

白鲸开源持续运营维护Apache DolphinScheduler与Apache SeaTunnel两大项目,诚邀全球开发者加入,共同构建开源生态系统,推动大数据与云计算领域的技术创新与发展。

本文来源: 图灵汇 文章作者: 张嘉宝