图灵汇官网

大数据（三）

常见AI术语浅谈（3）

接上期。

（二）、大数据存储与管理技术

为了高效处理复杂多样的大数据需求，需要从多个角度和层次来存储和管理大数据，这要根据大数据应用的具体特征来进行。

1. 海量数据

   大数据的一个显著特点是数据量巨大，通常以PB为计算单位。

   • 数据量有多大？ 人们日常使用的移动硬盘容量可以达到几TB，其中1TB等于1024GB。而普通手机上网，若不频繁观看视频，每月大约只需50GB流量即可。

   • PB 1PB相当于1024TB。

   • EB和ZB 数据量达到EB和ZB级别时，数值会变得非常庞大。1EB等于1024PB，而1ZB则等于1024EB。由此可见，存储这些数据的难度之大。

   • 更大的单位 数据量甚至可以达到YB和BB级别，1YB等于1024ZB，1BB则等于1024YB。

2. 来源多样化

   大数据来源广泛且类型多样，主要包括搜索引擎、电子商务、社交网络、音视频以及在线服务等。数据形态各异，结构复杂。

3. 存储

   传统的数据库难以满足大数据的多样化存储需求，因此出现了专门针对大数据存储的新技术。

   • HDFS HDFS是一种高容错的分布式文件系统，适用于非结构化文件的存储。它是Hadoop的一部分。

   • NoSQL数据库 NoSQL数据库可以存储半结构化和非结构化的数据。

4. 大数据存储管理技术

   大数据存储与管理的目标是将采集的数据有效地存储、管理和调用。

   • 存储层 一般情况下，大数据存储层包括关系型数据库、NoSQL数据库和分布式存储系统三种方式。根据具体业务需求选择合适的存储模式。为了提升存储和读取效率，可以利用Hadoop技术进行扩展和封装。

     存储层可以通过DaaS（数据即服务）进行统一访问，实现业务应用与存储基础设施的解耦。DaaS方法使数据更具可访问性，从而释放数据的潜在价值。

   • 数据仓库 为了支持多维度分析和展示，通过特定模式存储的数据属于数据仓库的范畴。数据仓库是商业智能系统的基础，负责整合业务系统的数据，提供数据抽取、转换和加载等功能。它支持按主题进行数据查询和访问，为联机分析和数据挖掘提供平台。

   • 数据处理 标准化的数据处理流程和技术工具可以确保高质量的数据分析结果。此外，大数据管理还包括数据加密、云端备份等技术。

（三）、大数据分析和挖掘技术

大数据分析和挖掘技术是指对大规模数据进行分析和挖掘，通过各种算法进行分类、提取等操作。主要技术包括：

• 可视化分析 数据可视化是数据分析工具的基本要求。通过可视化，数据可以直观地展示出来，使用户更容易理解和使用数据。

• 数据挖掘算法 数据挖掘算法可以深入大数据内部，挖掘出有价值的信息。这些算法能够将大数据集群进行分割和处理，从而发现隐藏的价值。

• 预测性分析 用户可以在可视化分析和数据挖掘的基础上，利用预测性分析做出一些预测性的判断。

• 语义引擎 在处理非结构化数据时，需要语义引擎等工具进行解析、提取和分析。语义引擎能够智能地从大量文档中提取用户所需的信息。

大数据分析和挖掘是从大量、不完全、有噪声和模糊的数据中提取有用信息和知识的过程。这一过程涉及的技术非常多，包括模型构建、大型模型、机器学习等，将在后续章节中进一步探讨。