腾讯云发布自研大数据高性能计算引擎Meson,性能最高提升6倍

图灵汇官网

腾讯云推出全新大数据高性能计算引擎:Meson

发布动态:7月4日,腾讯云正式发布自研大数据高性能计算引擎——Meson。这款创新引擎旨在通过软硬一体加速与智能技术融合,显著提升AI等场景下的大数据处理效能,同时优化资源利用。在实际应用中,Meson在数据湖场景下将单个数据查询分析速度提升6倍,且在微信读书“AI问书”项目中,成功减少了90%的大数据任务资源消耗。

业务布局:当前,Meson已在腾讯云数据湖、搜索分析服务、云数据仓库等关键业务领域落地,作为统一的加速基础架构,助力企业大数据业务提速增效。

技术创新:针对大数据领域的核心挑战——存储与计算性能优化,Meson在软硬件层面同步发力,实施软件层的向量化计算、JIT Compilation等加速策略,同时结合GPU、FPGA硬件加速技术,实现高效能计算。通过智能查询优化、负载预测等智能技术,Meson能自动调整处理策略,提升数据处理效率。

性能突破:Meson在数据湖场景展现出卓越性能,实现了Spark兼容的向量化计算能力,大幅提升了大规模数据处理效率。在TPC-DS基准测试中,数据湖引擎性能提升超过2.27倍,单个数据查询分析任务最高可达6.2倍性能提升。

应用实例:在Elasticsearch Service(ES)中集成Meson解决方案,成为全球首个支持GPU加速的ES服务,显著提升了ES的向量生成和检索效率。微信读书“AI问书”项目即依托此技术,实现高效信息处理。

成本优化:Meson方案使成本大幅下降,从原先的400台64G机器减少至仅需30台,同时显著降低了运维成本。此技术也应用于云知、安灯、乐享等内部业务系统,实现高效信息检索与生成。

企业级应用:对于企业级数据仓库TCHouse,Meson通过查询优化、向量化计算与AI智能资源调度,大幅提升数据分析效率与质量,提供高效、实时、低成本的数据分析解决方案。

市场表现:腾讯云大数据平台已为超过1000家大中型企业构建国产化大数据平台,覆盖能源、制造、电力等领域,如国家电网、中国商飞、三一重工、陕西建工等。多款解决方案获得行业认可,数据量年增长率超过90%,展现了Meson的强大性能与广泛适用性。

结语

腾讯云Meson作为一款前沿的大数据高性能计算引擎,不仅显著提升了AI等场景下的大数据处理效能,更通过软硬一体化加速与智能技术的深度融合,为企业提供了高效、低成本的数据分析解决方案,加速了数字化转型的步伐。随着其在各行业头部客户的广泛应用与成功案例,腾讯云大数据平台正持续引领行业革新,推动大数据技术的发展与应用。

本文来源: 图灵汇 文章作者: 张倩