机器学习笔记——小引
机器学习笔记——引言
学习的定义：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E中学习。
如，手写识别学习问题：
任务T：识别和分类图像中的手写文字
性能标准P：分类的正确率
训练经验E：已知分类的手写文字数据库
简单说，“学习”就是通过经验提高性能的某类程序。
一个完整定义的学习问题需要一个明确界定的任务、性能度量标准和训练经验的来源。
机器学习算法的设计过程包含许多选择，包括选择训练经验的类型、要学习的目标函数、该目标函数的表示形式以及从训练样例中学习目标函数的算法。
在机器学习方面，一个有效的观点是机器学习问题经常归结于搜索问题，即对非常大的假设空间进行搜索，以确定最佳拟合观察到的数据和学习器已有知识的假设。
学习的过程即搜索的过程，搜索包含可能假设的空间，使得到的假设最符合已有训练样例和其他先验的约束和知识。
机器学习从不同的学科吸收概念，包括人工智能、概率和统计、计算复杂性、信息论、心理学和神经生物学、控制论以及哲学。