运维体系 实时计算平台 如何使用机器学习解决真实的业务问题(4)

当然，一个完整的推荐系统，不仅仅需要机器学习排序，还需要相应的组件。比方说我要有物料库，把商品的特征维护起来，这需要一个高性能的缓存和，能够增删查改，能够进行特征的初步生成。我还需要一个日志系统，日志系统通过唯一性的标识，把实时的请求和后续的反馈 Label 记录并拼接起来。运维体系 实时计算平台我还需要一个自学习的系统，机器学习的模型每天都是要更新的，如果拿 7 天前学到的模型去推今天的商品，那岂不是用前朝的剑斩本朝的官，效果一定不好，所以我们还需要自学习，或者是增量的学习，来保证模型捕捉到最新的用户偏好和市场情况。

然后我们还需要后续的预测，比方说我的内容有好几十万，我并不是拿好几十万给机器学习去预估，我会用启发式的方法，比如说 CF、热度、Tag 匹配等召回策略先生成候选集，然后才进入到机器学习排序。召回策略同样使得我们有更大的能力去影响机器学习排序的结果，比如我们可以过滤掉一些我们明知道不好的内容或者增加我们认为好的内容的权重或出现比例。在机器学习排序后，我们也需要对结果进行去重、多样化和随机化，最后才做成一个好的推荐系统。

今天和大家介绍的是，我们如何利用机器学习去搭建一个推荐系统的排序环节。总结起来是这么几个点：第一个是如何使用机器学习来剖析一个问题，我们用了推荐系统的例子。第二个是我们如何构造一个推荐系统的样本、数据并进行建模，当我们有一个非常好的机器学习工具的时候，我们可以把精力聚焦在业务上，在怎么找到好的数据上，以及在怎么定义好的目标和规划上。第三我们描述了机器学习系统是如何和其他系统发挥作用的，机器学习就像发动机，汽车当然需要发动机，但只有发动机车是跑不起来的，你还需要周边的配件，这是系统化的工程。在这方面我们已经做了一些工作，我们既有发动机，也就是先知平台，大家可以在这里试用 https://prophet.4paradigm.com，我们也有整车，就是整个推荐系统的解决方案。我们很高兴和大家分享这样的技术和能力，谢谢大家。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-77174-4.html