筑牢数据存储底座,天翼云 HPFS赋能企业高效“掘金”数据

图灵汇官网

在当前科技浪潮中,各行各业正经历数字化转型的深入发展,特别是在人工智能大模型的蓬勃兴起下,气象分析、高性能计算(HPC)、自动驾驶、石油勘探、EDA仿真、基因分析等关键领域对算力的需求显著增加。与此同时,数据量的爆炸式增长带来了前所未有的挑战,包括数据存储性能不足、训练效率低下乃至中断等问题。为了应对这一挑战,企业迫切需要创新和优化存储系统技术架构,以构建更加高效、可靠且灵活的存储解决方案。

作为云计算领域的领导者,中国电信的天翼云秉承科技创新理念,致力于加速数据存储基础设施的建设。他们引入并推出了高性能文件存储服务——HPFS(CT-HPFS),旨在为企业构建一个高性能的存储基础。此服务利用全NVMe闪存和InfiniBand高速网络,结合RDMA技术,提供高达千万次每秒的IOPS和TB级吞吐量,同时确保亚毫秒级延迟,全面提升了数据处理效率。

HPFS的核心优势包括:

  1. 共享访问:支持数千台客户端同时挂载同一文件系统,实现高效协同工作。
  2. 弹性扩展:采用集群架构的元数据管理,单文件系统文件数量可达数十亿级别,且支持在线扩展。
  3. 安全保障:采用EC纠删码、热备盘备份等多重措施,确保数据可靠性,并通过HA功能实现故障自动切换,服务可用性高达99.90%,有效保护数据安全。
  4. 卓越性能:通过100G以太网或IB、RoCE网络,性能随文件系统容量线性增长,同时保持亚毫秒级延迟。

在HPC场景中,HPFS支持MPI-I/O接口,有效管理多客户端在同一时间并发读写同一文件时的性能瓶颈,显著提升多客户端读写性能。而在AI应用领域,HPFS能够支撑万亿参数的大模型训练,助力企业构建高速的训练平台。它可根据不同AI业务流程的特点,灵活调用存储服务,优化数据预处理、训练、仿真等过程,大幅加快训练数据读取和checkpoint回写速度,降低AI训练成本,加速模型迭代周期。

未来,天翼云将持续深化数据存储技术的创新,凭借其强大的数据存储能力,为客户提供高性能的存储底座,推动技术创新与产业协同发展,共同构建安全、高效的数字化基础设施。

本文来源: 图灵汇 文章作者: 潘燕