大数据情感分析，如何提取情感以及哪些工具？ （发布情感标签）

崔维夫

情感分析是在学术领域研究了多年的学科. 您可以使用Google学术搜索找到很多论文. 基本方法包括基于字典的方法，语言语法方法和分类器. 深度学习方法（稍后会详细介绍）.

所有类型的论文都有一定的参考意义，但这主要是学术界对单个问题的改进. 从研究领域到大数据处理，还有很多工作要做.

首先，是工程过程

工程过程包括以下几个方面:

1. 情感分析任务的定义

在定义情感分析任务时，有必要弄清楚项目的要求是什么；分析文本中的情感水平，例如章节，段落，句子，短语，单词等的粒度. 文本或其中一些分析；什么是允许的错误错误等？

2. 情绪分析标准的制定

在实际的企业应用中，经常有必要根据行业特征制定一些情感分析标准，甚至从客户的角度建立标准. 根据国双与客户实际接触的经验，在建立行业标准后，有必要与客户进行一些适当的调整.

3. 语料库数据处理，字典处理

在前面的工作中，我们将总结处理语料库或词典. 在此步骤中，通过不同方法完成的工作是不同的. 这基本上是一项劳动密集型工作. 困难在于使各个语料库处理者协调并实施统一的标准（通常在此过程中，这也会影响情感的第二步. 分析标准的制定，因为看到了标准后总会有一些歧义. 实际数据）

4. 根据数据的特点，规模等选择合适的方法，并评估该方法的优缺点

工程中的方法不是单一方法. 使用一种方法或模型来解决各种数据源上的问题是不可能的. 如果要取得良好的效果，则必须使用分而治之的思想. 例如，如果您可以使用精确的规则，则无需使用分类器.

当应用于实际产品时，最好结合产品的垂直特性，并充分利用垂直行业的特性. 例如，在金融业和汽车业，他们必须有自己的行话. 这些行话具有非常明显的规则或特征.

第二，情感分析方法和工具

情感分析对象的最小粒度是词汇，但是表达情感的最基本单位是句子. 尽管词汇表可以描述情绪的基本信息，但是单个词汇表缺少对象，缺乏相关程度并且具有不同的词汇表组合. 我们在一起的情感程度是不同的，即使情感倾向相反. 因此基于句子的情感分析粒度更为合理. 章或段落的情感也可以根据句子的情感来计算.

现阶段情感分析方法主要有两种:

（1）基于字典的方法:

基于词典的方法主要开发一系列情感词典和规则，分析文本，分析和匹配词典（一般词性分析，句法依存关系分析），计算情感值，最后使用情感价值作为文本情感取向的判断依据.

操作方法:

基于字典的情感分析的一般步骤如下:

对比句子更强的文本进行句子拆解操作，以句子为最小分析单位；分析句子中出现的单词，并根据情感词典进行匹配；处理否定逻辑和转向逻辑；计算整个句子的情感词得分（根据单词（不同，不同极性，不同程度和其他因素进行加权求和）；根据情感得分输出情感情感.

如果是章节或段落级别的情感分析任务，则可以根据具体情况以单个情感分析和每个句子融合的形式执行，也可以在之后进行情感主题分析提取情感主题句子. 最终情绪分析结果.

参考和工具:

1. 常见的英语情感词库: GI（一般询问者），sentiWordNet等；

2. 汉语共同情感词库: 台湾大学情感极性词典知网；

3. 几种情感词典的构建方法: 基于自举方法预测形容词的语义取向和确定观点情感.

（II）. 基于机器学习的方法:

情感词典的准确性较高，但召回率较低. 对于不同的领域，构建情感词典的难度不同，并且准确构建的成本很高. 解决情感分析的另一种方法是使用机器学习将情感分析视为监督分类问题. 为了判断情绪极性，目标情绪分为三类: 正基于层次结构的多策略中文微博情感分析和特征抽取，中和负. 手动注释训练文本，然后执行监督的机器学习过程，并使用该模型从测试数据中预测结果.

处理过程:

基于机器学习的情感分析的思想是将情感分析视为分类问题. 具体过程如下:

1. 文字预处理

文本预处理是使用机器学习进行文本分类的基本操作. 由于文本是非结构化数据及其特殊性，计算机无法直接理解它，因此需要进行一系列预处理操作才能将其转换为计算机可以处理的结构化数据. 在实际分析中，文本更加复杂，书写规范更加随意，并且可能会与一些噪音数据混合在一起. 一般来说，文本预处理模块包括去噪，特征提取，文本结构化表示等.

特征提取: 汉语最小词素是单词，但是单词通常具有更明确的语义信息，但是通过单词分割，单词关系可能会丢失. n-gram语法解决了这一问题，它也是传统机器学习分类任务中最常用的方法.

文本的矢量化: 矢量化是提取特征的非常重要的过程. 将人类可以理解的文本转换为可以由计算机处理的数据是重要的一步. 此步骤中最常用的是词袋模型和最近新引入的连续分布式词向量模型（词嵌入）. 词袋模型的长度是整个词汇表的长度，并且单词的相应维数设置为单词频率. 该文档的表示通常是稀疏的，并且尺寸很大. 嵌入的表示可以有效地解决数据稀疏问题，并将维度缩减为固定维度，从而可以更好地表示语义信息. 对于文档表示，可以直接叠加词袋模型，Embedding的方法可以使用深度学习通过合并来获得最终表示.

特征选择: 在使用机器学习分类算法时，特征的质量直接影响机器的准确性和召回率. 选择有利于分类的特征可以有效地减少训练费用并防止模型的过度拟合，尤其是在数据量较大时基于层次结构的多策略中文微博情感分析和特征抽取，这部分工作的重要性更加明显. 选择方法是输入所有训练语料，并通过某种方法选择最有效的特征. 主要方法有卡方检验，信息熵，dp深感知器等.

目前，还有一些方法可以比句子的粒度更精细地识别情感，例如基于方面的情感分析. 他们使用更细粒度的方面（例如产品的评估属性）来评估主题的情绪. 趋势分析.

2. 分类算法的选择

将文本转换为机器可处理的结构后，下一步是选择一种用于机器学习的分类算法. 目前，相对较高的使用率是深度学习（CNN，RNN）和支持向量机（SVM）. 深度学习方法具有大量计算，并且准确性有所提高，因此他们都在尝试这样做. 支持向量机是一种较传统的方法，其准确性和数据处理能力也非常好. 许将其用于分类任务.

参考和工具:

1. svm分类libsvm

2. Python机器学习工具scikit-learn

3. 深度学习框架: Tensorflow，Theano

本文选自国双商业市场关注的答案.

关于情感分析的11件事

微博上的挖掘情绪分析

Python搜寻器简介和情感分析

使用R进行文本内容情感分析

结束. 返回搜狐，查看更多

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-162296-1.html