推荐发动机-（2）推荐系统的实验方法
在推荐系统中，主要有3种评测推荐系统的方法。即离线实验（offline experiment），用户调查（user study），在线实验（online experiment）。
1.离线实验
离线实验一般由如下几个步骤组成：
（1）通过日志系统获得用户的行为数据，并按照一定格式生成一个标准的数据集。
（2）将数据集按照一定的规则分成训练集和测试集。
（3）在训练集上训练用户兴趣模型，在测试集上进行预测
（4）通过事先定义好的离线指标评测算法在测试集上测试结果
| 优点 | 缺点 |
|
不需要有对实际系统的控制权 不需要用户参与实验 速度快，可以测试大量算法 |
无法计算商业上关心的指标 离线实验的指标和商业指标存在差距 |
2.用户调查
3.在线实验(AB测试)
评测指标
1.用户满意度
(1)问卷
(2)可以通过点击率、用户停留的时间和转化率等指标度量用户的满意度
2.预测准确度
(1)评分预测
RMSE（均方根误差）
MAE（平均绝对误差）
比较用户的实际评分，和预测评分
（2）TopN推荐
一般通过准确率（precision）/召回率（recall）度量
（3）覆盖率
描述的是对长尾的挖掘能力。
(4) 多样性
(5)新颖性
(6)惊喜度(serendipity)：可以理解为与用户的历史兴趣并不同，但却让用户满意，那么就说惊喜度很高.
(7)信任度
(8)实时性
(9)健壮性
(10)商业目标
评测维度
用户维度
物品维度
时间维度