随着时代的进步,人类产生的数据量呈指数级增长,数据的开放性应用和潜在价值也日益凸显。在大数据精准营销、大数据洞察等热门话题背后,数据挖掘、分析技术扮演着至关重要的角色。数据挖掘不仅成为政府提升管理效能的有效工具,也是各行各业增强核心竞争力的关键手段。
数据挖掘是从大量、不完整、含有噪声、模糊及随机的数据中,提取出之前未知但具有潜在价值的信息和知识的过程。
数据挖掘是一个多学科交叉的领域,涵盖了数据库系统、统计学、机器学习、可视化及信息科学等多个学科。
商业智能侧重于创建明确的统计分析报表,根据统计结果提供商业决策支持,输入数据,输出信息。而数据挖掘则通过分析数据表象,发现隐藏的规律和看似无关事物之间的联系,从而洞察或预测未知事项,输入数据,输出知识。
数据挖掘是商业智能的高级应用,通过对大量业务数据进行探索和分析,揭示隐藏的未知规律。
分类是根据样本数据中标记的类别对原数据进行分类总结,进而预测未来数据的归类。回归是确定一种或多种变量间相互依赖关系的统计分析方法。
分类和回归主要用于预测问题。分类适用于离散型目标变量的预测,而回归适用于连续型目标变量的预测。以下是分类和回归技术可以解决的一些问题:
下图展示了一个基于决策树预测银行客户是否存在贷款风险的示例。
聚类是在预先不知道欲划分类的情况下,根据数据相似度原则进行数据归类的方法。
聚类能够解决的问题包括:
下图展示了通过聚类分析找到共性数据的过程。
关联规则是在一个数据集中找出各个物品或商品之间的关系,也被称为购物篮分析。
关联规则可以应用于许多实际业务场景,例如:
下图展示了某商场购物篮推荐结果的示例。
时间序列预测是通过已有的时间序列数据进行类推,以预测下一段时间的趋势。
时间序列预测可以解决以下问题:
下图展示了某公司红酒销量的预测图。
关系网络分析用于探索社会行动者及其间的关系,例如社会关系、亲属关系、角色关系、行为关系、流动关系、地理空间关系等。
关系网络分析也称为社会网络分析,通过分析可以发现行动者之间隐藏的关系。常见的关系类型包括:
下图展示了《悲惨世界》一书中人物的关系网络分析示例。
数据挖掘是一个循环迭代的过程,通过不断调整模型以提高精度。若想更好地掌握数据挖掘,[b]亿信华辰数据挖掘软件豌豆DM[/b]是一个不错的选择。
豌豆DM内置了分类分析、回归分析、聚类分析、关联规则分析以及时间序列应用等五大类十几个小类的数据挖掘算法,并支持R语言算法扩展。用户可以通过半自动化或自动化的方式分析业务数据,从中挖掘出潜在的模式,解决客户流失分析、客户细分、银行客户贷款风险分析、客户信用评价、关联推荐(购物篮分析)等各类数据分析应用问题。