认识达内从这里开始

机器学习是我们掌握人工智能编程开发技术的重要组成部分，下面我们就一起来了解一下，学习机器学习相关的技术知识点需要注意哪些问题。

1.学习=表征+评估+优化

你有一个应用程序，你认为机器学习可能是一个很好的选择。现在，一旦进入机器学习的世界，有大量的学习算法可供使用，每年发布数百种。用哪一个?

在这个巨大的空间中不迷路的关键，是要理解所有学习算法都包含三个核心要素：

表征(Representation)：输入数据，即要使用的特征，学习器(learner)和分类器(classifier)必须以计算机可以理解的语言表示。学习器可以训练的分类器的集合称为学习器的假设空间。如果分类器不在假设空间中，则无法进行学习。

说明：我们所说的分类器与学习器的含义是什么?假设有训练数据，并使用该数据构建另**一个程序(模型)，例如决策树。学习器将是从输入数据构建决策树模型的程序，而决策树模型将是**分类器(能够为每个输入数据样本提供预测输出的东西)。

评估(Evaluation)：需要一个评价函数来区分好的分类器和坏的分类器。算法内部使用的评估函数是一个，而我们希望的分类器的外部评估函数可能是另外一个(为了便于优化，也由于后面讨论的问题)。

优化(Optimization)：后，我们需要一种方法来搜索分类器，以便我们可以选择好的分类器。优化技术的选择是提高学习器效率的关键。开始时使用现成的优化器是很常见的做法，如果需要的话，可以稍后用自定义的来替换它。

2.泛化很重要

机器学习的基本目标是超越训练集中的样本进行泛化。因为，无论我们有多少数据，我们都不太可能在测试时再次看到这些确切的样本。在学习上表现出色很容易，初学者常见的错误是对训练数据进行测试并产生成功的假象。如果选择分类器然后在新的数据上进行测试，这样做通常不会比随机猜测更好。所以，从一开始就把一些数据放在一边，只在后用它来测试所选的分类器，然后在整个数据上学习那个终的分类器。

当然，保留数据会减少可供学习的数据量，这可以通过进行交叉验证来缓解：将训练数据随机划分为(例如)10个子集，每次用其中9个子集进行训练，用剩下的一个样本测试学习后的分类器，权衡它们的结果来评估特定参数的设置效果如何。

3.仅有数据是不够的

把泛化当成目标时，会遇到另一个主要的后果：不管有多少数据，单凭数据是不够的。假设我们想从一百万个样本中学习100个变量的布尔函数(yes/no分类)，这意味着有2^100-10^6个不知道是什么分类的样本。在没有更多信息的情况下，这怎么能比抛硬币更有效呢?

听起来我们被卡住了吧?幸运的是，我们想要在现实世界中学习到的函数，并不是从所有数学上可能的函数一步步地推导出来的!事实上，非常一般的假设–比如相似的样本有相似的分类–是机器学习能成功的一个重要原因。

这意味着领域知识和对数据的理解对于做出正确的假设非常重要。学习过程中对知识的需要是很自然的，机器学习不是魔术，它不能从虚无中得到什么，它所做的是从较少的数据中得到更多的信息。与所有的工程一样，编程也是一项艰巨的工作：我们必须从头开始构建一切。学习更像是农业耕作，让大自然做大部分的工作，而农民把种子和营养物质结合起来种植农作物。学习器将知识与数据结合起来，以编出程序。

4.过拟合的多种面孔

过拟合的问题是机器学习中令人烦恼的事。当学习器输出一个对训练数据一定准确，但对测试数据只有50%准确的分类器时，实际上它可以输出一个对两者的准确度都为75%的分类器，这时已经过拟合了。

熟悉机器学习的每个人都知道过拟合，但它有多种形式，并不是很明显。理解过拟合的一种方法是将泛化误差分解为偏差和方差。

偏差是学习器一直学习同样错误。无论真实情况如何，方差是学习与真实信号无关的随机事物。用飞镖来类比可以更好地理解这一点，如下图所示：

例如，线性学习器具有较高的偏差，因为当两个类之间的划分不是一个清晰的超平面时，学习器无法正确地推导出某种关系。决策树没有这个问题，因为它们的学习方法很灵活。但另一方面，它们可能会有较高的方差，在同一任务的不同训练数据集上学习的决策树通常区别很大，虽然实际上它们应该是相同的。

那么现在，如何应对过拟合?

交叉验证可以解决这个问题，例如通过它来选择要学习的决策树的佳大小。但请注意，这里还有一个问题：如果选择了太多的参数，从开始可能就会过拟合，这样又陷入了同样的陷阱。

除了交叉验证之外，还有许多方法可以对抗过拟合。受欢迎的是在评估函数中添加正则化项，另一个选择是执行类似卡方检验这样的统计显著性检验，以更多分析复杂性的增加是否会对类的分布产生任何影响。这里的一个重点是没有特定的技术“解决”过拟合问题。例如，可以通过陷入欠拟合(偏差)来避免过拟合(方差)。同时，不要试图学习出一个完美的分类器，并没有一种技术总能做到好(没有免费的午餐)。

【免责声明】：本内容转载于网络，转载目的在于传递信息。文章内容为作者个人意见，本平台对文中陈述、观点保持中立，不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。