淘宝吴学军: 自然语言处理技术在搜索和广告中的应用

本文是8月3日在CTO Club Salon上的广告算法负责人兼淘宝广告技术部淘宝研究员吴学军的演讲记录，全文如下:

我今天演讲的主题是自然语言处理技术在搜索和广告中的应用. 搜索和广告是两种非常密集的Internet产品. 他们的前端非常简单，但是后端系统架构却非常复杂.

今天主要讨论三个方面: 首先，主要介绍一个典型的Internet应用系统；其次，主要介绍了NLP技术在搜索中的应用. 第三，在物联网广告应用中引入NLP技术.

NLP技术系统

首先介绍NLP技术系统. NLP技术系统在不同的应用需求和领域下具有不同的组织形式. 下图是用于Internet应用程序的典型技术系统.

在2005年之前，NLP技术已广泛应用于实际应用程序，尤其是Internet应用程序. 2007年，我参加了针对自然语言学者的技术研讨会. 在会议上，许是国内自然语言处理技术和自然语言处理技术的主要代表. 当时我们讨论的主要问题是NLP技术在实际应用中是否有价值？

最底层是数据层，其中包含三种类型的数据. 1.词典，词条翻译可用于分词或某些词法分析； 2.知识库，其中包含一些语言，语义分析处理是一项重要功能； 3.统计数据，主要是词汇共现，ngram数据. 以上三个代表数据.

第二个级别是术语级别. 分为词法分析，术语语义表和术语关系. 1.词法分析包括分词，词性标注和未注册词的识别； 2.术语语义表包含属性/类别和语义表示； 3.术语关系包括同义关系，词汇看见关系和知识库构建.

第三层短字符串涉及一些更改，包括短字符串解析，短字符串语义表示和短字符串转换. 1.短字符串分析分为结构分析/浅语法分析和术语重要性分析； 2.短字符串语义表示包括短字符串主题分类短字符串语义表示； 3.短字符串转换包括同义词替换，语义规范化和省略错误纠正

第四级是章节级，分为单文档分析和多文档分析. 在研究领域被广泛使用. 在分析领域，有大量的文本分析技术，例如PLSA和LDA.

NLP技术在搜索中的应用

重点是NPL在搜索引擎和互联网广告中的应用. 下图显示了一个简单的搜索引擎基础结构. 第一块是最基本的Web爬网，第二块是网页分析和索引. 第三块是查询. 三个蓝框是NLP技术被广泛使用的三个方向. 我将在这三个方向上介绍NLP的应用.

查询分析/排名

首先，短字符串分析技术涉及结构分析，术语重要性标签和短字符串的初步处理. 对后续查询和语义相关性计算进行一些基本分析. 由于表达查询要求的方式有很多，我们将重写查询以使其更好地被调用. 最重要的技术是短字符串的语义相关.

语义正则化，即相同的语义以不同的方式表示. 这种语义正则化技术广泛用于搜索引擎中. 语义短字符串可以在此处很好地应用，以相同的形式表示，然后计算它们之间的关联.

三，纠错，我们需要分析用户需求，识别查询需求才能满足用户的不同需求，或者集成到特定的中以满足精确的需求. 快速需求识别是重要的应用. 该技术可以理解为对查询语义类别的识别，即短字符串的分类.

在排序的应用中，NLP技术体现在相关性计算，查询和网页相关性中. 在搜索中，Rank代表两个系统，例如百度和Google基于规则的系统，以及Microsoft和Yahoo使用此类机器学习Rank系统. 这些功能在机器学习中的排名仍然是查询文本最基本的语义表示. 规则系统将涉及一些语义计算，相关性识别和相关性计算.

网页分析和索引的应用主要涉及网页标题，术语权重计算，网页语义表示和网页类别识别.

互联网广告技术的总体架构

NLP在Internet广告技术中的应用包括三类广告技术: 用户行为分析，Web内容分析/站点分析和查询分析，其中涉及许多基本的广告库分析和索引编制.

如果您可以定位广告，它将涉及用户行为分析. 有必要将用户行为表放入可以检索广告的表单中. 如果存在许多用户行为，则将涉及行为排名. 如果广告库很小，我们可以抽象这种行为. 如果有很多整个广告集，则可以将许多候选广告划分为多个层. 对于内容广告，它将涉及对网页内容的更多分析. 这方面主要涉及提取最基本的网页主题. 此外，还将涉及相关内容的分析. 由于广告通常具有商业价值，因此我们会将广告内容与具有商业价值的内容相关联以匹配广告.

对于搜索广告大数据在淘宝的应用，请求分析主要是查询分析，与搜索大致相同. 解析用户的基本请求后，将涉及如何匹配广告. 如果广告集很大，我们将无法计算每个广告的相关性，因此首先请确保可以将相关广告作为一个集合进行调用，然后再进行关联计算.

最后一个方面的应用是广告排名. 收费是搜索广告中非常重要的一种形式. 收费基于点击次数，因此排名最重要的是预测其点击率作为排名的基础. 预测点击率后，我们根据其价格计算其基本收入. 它的核心技术是估算点击率，而点击率是排名的核心. 语义特征的表示以及相关性的丧失，都可以用特征语义的一部分来表示广告.

原创文章，作者: xsmile，若有转载大数据在淘宝的应用，请注明出处: ％e6％b7％98％e5％ae％9d％e5％90％b4％e9％9b％aa％e5％86％9b％ ef％bc％9a％e8％87％aa％e7％84％b6％e8％af％ad％e8％a8％80％e5％a4％84％e7％90％86％e6％8a％80％e6％ 9c％af％e5％9c％a8％e6％90％9c％e7％b4％a2％e5％92％8c％e5％b9％bf％e5％91％8a％e4％b8％ad％e7％9a％ 84 /

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/shouji/article-262159-1.html