WhaleStudio 2.6重磅发布!调度模块WhaleScheduler更新78项核心功能
杨正
2024-06-25 00:00:00
图灵汇官网
WhaleStudio 2.6版本发布,数据调度与集成创新升级
引领数据管理新纪元
我们荣幸地宣布,WhaleStudio 2.6版本现已正式发布!此版本集成了数据调度模块WhaleScheduler与数据集成模块WhaleTunnel的核心功能更新,为用户提供更为高效、便捷的数据工作流解决方案。
WhaleScheduler:高效数据调度引擎
WhaleScheduler,作为全球领先的数据工作流调度系统,始终致力于提升用户的工作效率与体验。在此次2.6版本更新中,我们针对多个关键功能进行了深度优化与增强,旨在解决日常工作中遇到的实际问题,全面提升用户的实时数据仓库开发能力。
实时任务管理全面升级
- 实时任务支持:新增对Spark Streaming、Flink Streaming、WhaleTunnel Streaming(CDC)与Java Jar等多种实时任务的全面支持,用户可轻松进行编辑、管理、控制和删除操作。
- 高级配置与编辑:为上述任务提供精细的配置与编辑功能,包括Jar任务托管、Flink实时组件配置与WhaleTunnel CDC任务参数传递,以及循环调用支持。
工作流复制功能显著增强
- 逻辑任务节点复制:新增支持复制包含逻辑任务节点的工作流,简化复杂逻辑判断与处理节点的复用流程。
- 级联复制子工作流:当工作流包含子工作流时,复制操作将支持级联复制,确保整个工作流结构与嵌套子工作流的完整复制。
- 跨项目复制子工作流:新增支持跨项目复制子工作流功能,实现资源与配置的跨项目共享,大幅提升工作效率与项目协同能力。
依赖任务功能灵活优化
- 弱依赖模式:引入“失败继续”模式,优化任务调度的灵活性与执行效率。
- 业务日期与月维度时间依赖:明确表示牌日期与新增月纬度时间选项,增强时间依赖的灵活性。
- 资源池优先策略:增加优先策略设置,用户可根据任务优先或工作流优先调整资源分配与任务调度策略。
多种任务功能增强
- SQL任务参数传递:优化SQL任务参数传递机制,支持多行返回结果的获取与向后传递,增强SQL任务的实用性和灵活性。
- DATA QUALITY任务批量控制:允许使用参数变量替换表名与过滤条件,结合循环节点与前SQL节点内容,实现动态控制数据质量管理。
- BREAK逻辑任务:新增BREAK任务节点,用户可在执行至该节点时暂停流程并接收告警通知,实现工作流的灵活介入与异常处理。
- 资源池与工作流优先级:优化资源池配置,提供任务优先与工作流优先两种策略选择,提升资源分配与任务调度的高效性。
展示性能与用户体验优化
- 展示范围与逻辑重构:仅展示依赖链条上的节点,重构展示逻辑以提升画面清晰度与操作性能。
- 搜索逻辑优化:改进搜索结果返回方式,提升搜索效率与页面响应速度。
- 导入导出与管理功能:新增工作流导入权限校验、更新导入导出模版、优化工作流上下线与列表布局,增强用户体验与数据安全性。
白鲸开源:推动DataOps平台革新
作为一家专注于开源原生DataOps商业公司的国家高新技术企业,白鲸开源科技运营维护着Apache DolphinScheduler与Apache SeaTunnel两大全球开源项目,致力于打造下一代开源原生的DataOps平台。WhaleStudio 2.6版本的推出,正是我们持续创新与优化的一部分,旨在帮助企业智能化地完成多数据源、多云及信创环境下的数据集成、调度开发与治理,助力企业提升数据问题解决效率与决策能力。
欢迎访问我们的官网试用白鲸调度系统(WhaleScheduler),开启您的大数据之旅。如需深入了解其他功能或探讨如何将WhaleStudio融入您的业务流程,我们期待与您共同探索更多可能性。
加入开源共建
我们诚邀全球伙伴加入白鲸开源,共同参与Apache DolphinScheduler与Apache SeaTunnel的开源项目建设,共创数据管理与分析的新未来。