课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
我们在前几期的文章中给大家简单分析了关于个性化推荐系统的一些性能优劣对比以及架构条件等内容,而无论是软件应用还是功能添加都是需要经过测试与评估的,下面我们就一起来了解一下具体问题都有哪些。
一、离线评估准确度高的模型,在线评估不一定高
离线评估会受到可用的数据及评估方法的影响,同时,模型上线会受到各种相关变量的干扰,导致线上评估跟离线评估结果不一致。所以有必要引入AB测试减少新算法上线对用户体验的影响;
二、推荐系统寻求的是一个全局优化的方案(解)
在实际情况中,经常会有老板或者产品经理来找你,说某个推荐怎么怎么不准,虽然作为推荐算法工程师,需要排查是否真有问题,但是也要注意,推荐模型求解是满足整体优的一个过程(推荐算法如矩阵分解就是将所有用户行为整合进来作为目标函数,再求解误差小时用户对未知“标的物”的评分),不能保证每个用户都是预测准的。所以,遇到上述情况要做适当判断,不要总是怀疑算法。举个不太恰当的例子,推荐系统对部分用户可能推荐不准就像和谐社会的发展,虽然人民的整体生活是越来越好的,但是还是有人生活在水深火热中。
三、推荐系统是一个多目标优化问题
推荐系统需要平衡很多因素(商业、用户体验、技术实现、资金、人力等),怎么做好平衡是一种哲学。在公司不同阶段,倾向性也不一样,创业前期可能以用户体验为主,需要大力发展用户,当用户量足够多后,可能会侧重商业变现(推荐更多的付费视频,在搜索列表中插入较多广告等),尽快让公司开始盈利。
四、AB测试平台对推荐评估的巨大价值
推荐系统在线评估强烈依赖于AB测试来得出信服的结论,所以一套完善的推荐系统解决方案一定要保证搭建一套高效易用的AB测试框架,让推荐系统的优化有据可循,通过数据驱动来让推荐系统真正做到闭环。
五、重视线上用户行为及商业变现方面的评估
线上评估更能真实反映产品的情况,所以在实际推荐系统评估中,要更加重视线上效果评估,它能够很好的将用户的行为跟商业指标结合起来,它的价值一定大于线下评估,需要推荐开发人员及相关产品经理花费更多的时间和精力。
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!