图灵汇官网

大数据（一） 常见AI术语浅谈（1）

一、大数据概述

大数据，又称巨量资料，是一个相对宽泛的概念。其主要指的是难以在限定时间内，利用传统工具进行有效捕捉、管理和处理的数据集合。这类数据集不仅规模庞大，而且增长迅速，类型多样，需要借助新的处理模式，才能提供更强的决策支持、洞察力及流程优化能力。

（一）定义解析

1. 维基百科指出，大数据是指那些超出常规软件工具处理能力的数据集合，需要采用创新的处理方式来提升决策力、洞察力和流程优化效率。
2. 百度百科解释，大数据是由巨大数据集构成的，这些数据集往往超出了人类在合理时间内的处理能力，且数据规模会随时间和技术进步而变化。
3. MBA智库认为，大数据是一种具有海量、快速增长和多样性特征的信息资产，需要创新的方法来增强决策、洞察力和流程优化能力。
4. 高德纳公司则强调，“大数据”需要新型处理模式以提升决策力、洞察力和流程优化能力，适用于大规模、高速度和多样性的信息资产。

二、大数据的特点

1. 根据维克托·迈尔-舍恩伯格的观点，大数据具有五个核心特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

   • 数据量庞大，超出传统数据库和软件工具的处理能力。
   • 数据处理速度快，具备时效性。
   • 数据类型多样，包括结构化、半结构化和非结构化数据，以及各种形式如视频、音频、社交媒体等。
   • 大部分数据价值较低，需经过筛选和处理才能提取有用信息。
   • 数据的真实性是关键，确保数据准确可靠。

2. 大数据还具有以下四个显著特征：

   • 海量的数据规模，远超传统工具的处理范围。
   • 快速的数据流转，处理速度极快，具有时效性。
   • 数据类型的多样性，涵盖了多种格式和来源。
   • 价值密度低，意味着需要复杂的处理过程来提炼有价值的信息。

三、大数据的应用与影响

1. 大数据的正确应用至关重要，而非单纯收集数据。历史上，许多企业和机构曾因未能妥善利用数据而陷入困境。例如，早期互联网热潮中，一些单位仅仅为了建立网站而忽视了实际需求，最终导致资源浪费。因此，发展大数据项目时应避免重蹈覆辙，确保具备相应的处理能力。

2. 贵州作为中国首个大数据综合试验区，已取得显著成效。自2014年起，贵州省凭借其独特的地理位置和政策优势，吸引了众多国家级数据中心入驻。这不仅推动了当地软件和信息技术服务业的发展，也带动了经济结构的转型。贵阳市还专门设立了大数据科创城，构建了涵盖信息采集、数据存储、技术研发等多个领域的基础设施，进一步促进了跨国企业的数据项目落地。

3. 大数据的核心价值在于对其专业化的处理和应用。掌握大数据并非目的，重要的是如何通过专业的处理方法将数据转化为有价值的资产。通过对数据进行深度加工，可以实现数据的有效利用，从而创造更大的商业价值。

4. 大数据与云计算密不可分，两者相辅相成。由于大数据体量巨大，单机处理难以胜任，因此需要借助云计算平台提供的分布式计算、分布式数据库及云存储等技术支持。