图灵汇官网

从五个方面带你入门机器学习

1. 什么是机器学习

机器学习是一种让计算机系统能够从数据中自动分析和学习规律的方法，从而能够对未来数据进行预测。

2. 机器学习的工作流程

机器学习的工作流程主要包括以下几个步骤：

1. 获取数据：收集相关的数据。
2. 数据基本处理：清洗数据，包括填补缺失值和去除异常值。
3. 特征工程：通过专业技巧和背景知识优化数据特征，使其更适合机器学习算法。
4. 模型训练：选择合适的算法对数据进行训练。
5. 模型评估：对训练好的模型进行评估，确保其性能满足需求。

• 如果评估结果达标，则将模型部署上线。
• 如果评估结果不达标，则需返回前几个步骤重新进行处理。

2.1 数据集介绍

数据集通常由多行多列组成，每一行代表一个样本，每一列代表一个特征。部分数据集会有明确的目标值（标签），而另一些则没有。

• 数据类型一：特征值加目标值（目标值可以是连续的或离散的）。
• 数据类型二：仅有特征值，没有目标值。

数据集一般会被分为两部分：

• 训练数据：用于训练模型。
• 测试数据：用于评估模型的有效性。

常见的划分比例为训练数据占70%-80%，测试数据占20%-30%。

2.2 数据基本处理

数据基本处理主要是对数据进行缺失值处理和异常值剔除。

2.3 特征工程

特征工程是优化数据特征，使其更好地服务于机器学习算法的过程。

• 特征工程的意义：直接影响机器学习的效果。
• 为什么需要特征工程：数据和特征决定了机器学习的上限，而模型和算法只能逼近这一上限。

• 特征工程的内容：包括特征提取、特征预处理和特征降维。

• 特征提取：将原始数据转化为适合机器学习的特征。

• 特征预处理：通过特定函数转换特征，使其更适合算法。
• 特征降维：减少特征数量，保留主要信息。

2.4 机器学习

选择合适的算法对数据进行训练，以建立预测模型。

2.5 模型评估

对训练好的模型进行评估，确保其性能满足需求。

3. 机器学习算法分类

根据数据集的不同，机器学习算法可以分为以下几类：

• 监督学习：输入数据包括特征值和目标值。
• 无监督学习：输入数据只有特征值，没有目标值。
• 半监督学习：输入数据包括有标记和无标记样本。

• 强化学习：通过与环境交互进行决策。

• 监督学习：根据输入特征值和目标值进行分类或回归。

  • 回归问题：预测连续值，例如房价。
  • 分类问题：预测离散值，例如肿瘤良恶性。

• 无监督学习：处理未标记的数据，通过聚类等方式发现数据之间的关系。

• 半监督学习：结合有标记和无标记数据进行训练。

• 强化学习：通过不断试错进行决策，以获得最大化的累积奖励。

4. 模型评估

模型评估包括分类模型和回归模型的评估。

• 分类模型评估：

  • 准确率：预测正确的样本数占总样本数的比例。
  • 其他指标：精确率、召回率、F1-score、AUC等。

• 回归模型评估：

  • 均方根误差（RMSE）：衡量回归模型误差的常用指标。
  • 其他指标：相对平方误差（RSE）、平均绝对误差（MAE）、相对绝对误差（RAE）等。

5. 拟合问题

在训练过程中，模型可能出现过拟合或欠拟合的情况。

• 欠拟合：模型过于简单，未能捕捉到数据的复杂特征。
• 过拟合：模型过于复杂，过分依赖于训练数据，导致泛化能力差。

6. Azure机器学习模型搭建实验

Azure Machine Learning（简称“AML”）是微软推出的一项基于云计算的机器学习服务。AML旨在简化机器学习流程，使开发人员、业务分析师和数据科学家能够方便地应用机器学习技术。

• AML的优势：将机器学习的动力与云计算的便利性相结合。
• 免费试用：用户可以通过网址：https://studio.azureml.net/ 免费试用AML服务。

通过以上步骤，你可以全面了解机器学习的基础知识及其实际应用。