Little Red Lips APP通过大数据计算平台在21天内构建了推荐系统

Yunqi案例库: [单击查看在云上的更多案例]我不知道如何去云上？查看云起案例库，了解不同行业处于不同开发阶段的云解决方案，并帮助您做出云决策！

公司简介

小红唇应用程序是中国最大的垂直视频共享社区和社交化电子商务平台，适用于中国15至25岁的年轻女性. 其商业模式是短视频美容化妆电子商务. 我们为用户提供丰富的平台内容，活跃的社区生态和高质量的产品选择.

业务难点

1. 必须建立一个数据仓库并完成诸如数据开发，数据清理和转换之类的任务. 2.通过数据仓库构建可视化数据显示应用，实时显示收益数据，方便快速调整业务和决策.

1. 基于视频元信息的回归: 作为UGC平台，用户上传的内容质量参差不齐，以保证平台内容的质量. 编辑者做了很多选择. 如何提高编辑者的过滤效率是当前亟待解决的关键问题. 2.同义词: 需要一套有效的算法来优化搜索体验，以便用户在搜索时可以更轻松地获取目标内容. 3.业务总线: 需要提高某些应用场景（搜索热词统计，实时流行度统计）的响应速度，实时触发业务事件以及支持诸如发送优惠券和推送消息之类的服务.

数据仓库解决方案

Little Red Lip App的数据源主要来自两个方面. 将所有数据移至MaxCompute平台后，在其上进行数据开发就更容易了.

推荐的引擎解决方案

推荐引擎的总体架构如上所示. 虚线框内是推荐引擎产品本身的内容. 我们需要做的就是以推荐引擎所需的格式准备数据，并在MaxCompute中构建相应的表. 主要应用场景是推荐短片和图片. 在推荐引擎处理完所有事情之后，推荐结果以API的形式提供，供业务服务器调用.

除了方便之外，推荐引擎还提供了极大的灵活性. 主要推荐首页推荐和详细页面推荐. 主页推荐主要使用基于协同过滤的算法来计算结果. 详细页面建议已修改了阿里云的模板. 介绍了基于TFIDF算法的计算节点，以增强相关性推荐. 同时，推荐引擎还支持A / B TEST测试系统，并且可以对模板算法和参数的微调进行定量分析和计算. 推荐引擎的另一个优点是，它可以与阿里云实时计算结合使用，以将用户数据实时导入到计算引擎中，从而实时修改推荐结果.

算法平台解决方案

作为UGC平台，用户上传内容的质量参差不齐，以确保平台内容的质量. 编辑者做了很多选择. 如何提高编辑人员的筛选效率？为此，我们选择了阿里云的机器学习平台. 通过提取视频的元信息（持续时间，帧率，编码率，描述内容，亮度，对比度，分辨率，清晰度），形成特征矩阵，并随机选择现有的视频数据;监督逻辑回归训练用于训练模型；将该新视频应用到该模型中，以进行判断前评估计算平台 推荐，作为视频编辑的参考以及搜索推荐的影响因素.

具体过程如上图所示. 我们需要量化我们的视频信息，并通过拖动和拼接来建立训练有素的模型. 最左边的图片使用逻辑回归，线性回归和随机森林三个模型进行训练. 目前，使用逻辑回归模型. 在算法平台上训练模型后，可以轻松将其导入DateWorks，新的视频数据将添加模型节点以获得相应的预测分数. 最右边的图片显示了通过QUICK BI进行评分的结果. 整个过程没有太多的工作量，只需要在平台上做一些配置就可以完成整个视频元信息的回归和训练.

同义词主要用于优化搜索体验. 具体来说，通过阿里云对word2vec算法的实时计算，获得用户发布的内容，视频的名称和描述，用户的标签以及评论等语料信息. ，并通过余弦相似度计算获得人工同义词，并通过手动选择并将其输入搜索引擎的词库来改善搜索体验.

顶层是用户输入的元数据. 经过几个步骤和K-means聚类算法，进行了一些分析.

开始时，阿里云实时计算仅用于提高某些应用场景（搜索热词统计，实时热统计）的响应速度. 但是，所有业务事件都已通过阿里云实时计算拦截，那么可以通过实时计算实时触发业务事件以支持诸如发送优惠券和推送消息之类的服务吗？实践证明了其可行性. 目前，该业务总​​线系统的延迟由阿里云实时控制，以秒为单位.

云价值

Little Red Lips App拥抱Shuka已有半年了，对数的经验非常好. 它的感受主要有以下四点:

相关产品

MaxCompute（以前称为ODPS）是一项大数据计算服务，可以提供快速且完全受管的PB级数据仓库解决方案，使您可以经济高效地分析和处理大量数据. 有关阿里云MaxCompute的更多信息，请参阅MaxCompute产品详细信息页面.

MySQL是世界上最受欢迎的开源之一. 作为开源软件组合LAMP（Linux + Apache + MySQL + Perl / PHP / Python）的重要组成部分，它被广泛用于各种应用场景中. 有关ApsaraDB RDS MySQL版的更多信息，请参阅ApsaraDB RDS MySQL版产品详细信息页面.

Quick BI是专门为云用户设计的新一代智能BI服务平台. 有关Quick BI的更多信息，请参阅Quick BI产品详细信息页面.

实时计算（由Ververica提供支持的阿里云实时计算）是基于阿里云提供的Apache Flink构建的企业级大数据计算平台. 支持PB级数据集的亚秒级处理延迟，为用户提供标准的实时数据处理流程和行业解决方案；支持Datastream API作业开发，提供批处理流程统一的Flink SQL，并简化BI场景开发；它可以与用户使用的大数据组件无缝连接，更多增值功能可帮助企业进行实时转换. 有关实时计算的更多信息，请参阅实时计算产品详细信息页面.

DataWorks是一站式大数据智能云研发平台，提供大数据操作系统功能，并以所有形式提供，高效，安全，可靠的一站式大数据智能云研发平台. 在一个盒子里. 同时，它可以满足用户对数据治理和质量管理的需求，并使用户能够提供外部数据服务. 有关阿里云DataWorks的更多信息，请参见DataWorks产品详细信息页面.

[云栖课堂]每天，产品技术专家分享！教室地址: 立即加入社区，与专家面对面，并紧跟课程中的最新动态！ [云栖教室社区]

Shangyun考察Yunqi: 更多云信息，Shangyun案例，最佳实践，产品介绍计算平台 推荐，请访问:

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-199513-1.html