引言

基本术语

1. 数据集（Dataset）：样本的集合
2. 样本（Sample）：每个对象都是一个样本
3. 维度（Dimension）：在二维数据表中，一个列可以看成一个维度。 维度是对特征的计数
4. 特征（Feature）：特征是描述样本的属性或观察值。可以将特征视为样本在特征空间中的维度。例如，对于一张图像样本，其特征可以是像素的亮度值或颜色分布。选择合适的特征对于机器学习模型的性能至关重要。
5. 模型（Model）：模型是机器学习算法生成的表示数据关系的函数或数学表达式。模型通过从训练数据中学习，然后可以用于预测新样本的输出或进行其他任务。常见的机器学习模型包括线性回归、决策树、神经网络等。
6. 训练（Training）：
7. 测试（Testing）：
8. 算法（Algorithm）：
9. 评估函数（Evaluation Metric）：评估函数用于衡量机器学习模型的性能和准确度。它们可以根据任务的不同而变化，例如精度（Accuracy）、均方误差（Mean Squared Error）、召回率（Recall）、精确率（Precision）等。选择合适的评估函数可以帮助我们判断模型的优劣。

假设空间

指由一个算法或模型可以表示的所有可能解或函数的集合。假设空间定义了模型可以学习和表达的所有可能的假设。

归纳偏好

习算法对假设空间中的某些假设更有倾向性或偏好的一种倾向。它是算法设计者为了提高学习算法的效果而对模型、算法或搜索过程进行的一种设定。

奥卡姆剃刀

NFL(No Free Lunch Theorem) 定理最重要的寓意，是让我们清楚地认识到，脱离具体问题，空泛的谈论”什么学习算法更好“毫无意义，因为若考虑所有潜在的问题，则所有学习算法都一样好。