基于深度神经网络和条件随机场的对话行为识别方法

基于深度神经网络和条件随机场的对话行为识别方法

[专利摘要]本发明公开了一种基于深度神经网络和条件随机场的对话行为识别方法. 这些步骤是（1）对数据集中的汉语口语进行预处理以提取多峰特征； 2）建立条件随机场模型； （3）基于多模态深度神经网络构造条件随机场模型的状态特征函数: （4）最大化对数似然函数以求解条件随机场模型的参数，（5）通过对话解决了整个对话的行为顺序，获得了对话中每个句子的对话行为. 本发明不仅可以从原始特征中学习与分类任务更相关的抽象特征，而且可以更有效地将多模态信息融合在对话行为中，为后续的分类任务打下良好的基础. 同时，最好描述样本目标的序列依赖性，并提出条件随机场作为主要框架，以优化每个对话.

[专利描述]一种基于深度神经网络和条件随机场的对话行为识别方法

【技术领域】

[0001]本发明基于机器学习和统计学习理论. 通过使用多模态深度神经网络学习条件随机场中的特征函数，将多模态深度神经网络与条件随机场相结合，形成一个适用于解决复杂序列学习问题的有效模型，并最后将该模型用于汉语对话行为识别.

【背景技术】

[0002]对话行为（对话行为，DA）是奥斯丁在1996年基于言语行为提出的. 它在一定程度上反映了说话者的意图，对于确定句子的语用信息具有重要意义. 对话行为识别是计算机理解自然语言的关键步骤，并且在人机对话，交互式信息检索，机器翻译和交互式问答系统等许多应用领域中发挥着重要作用.

[0003]在研究使用机器学习算法解决对话行为自动识别的任务时，它面临以下挑战:

[0004] 1）多模式特征学习. 目前，语言模型，韵律模型，句法信息和其他（如: 持续时间，精力等）信息主要用于对话行为识别研究中. 如何表达和整合这些信息是对话行为识别的一个基本问题.

[0005] 2）类别的多样性和样本的不平衡分布以及特殊的标签集. 其中，通用标签集包含13种对话行为，有3种中断标签集和36种特殊标签集. 即使仅考虑第一和第二标签集，这些类别中的样本分布也非常不均匀. 在CASIA-CASSIL语料库中，样本的对话行为标签中约有63％是陈述，并且与感叹，发声中断，省略号省略和丢失的对话行为相对应的样本数量很小.

[0006] 3）上下文句子的对话行为之间存在统计依赖性. 句子的上下文信息在确定当前句子的对话行为中起重要作用. 句子的对话行为标签可能是一个陈述.

[0007] 4）提取的特征与对话行为标记之间的复杂依赖关系. 意图识别是一个非常复杂的问题. 即使像人脑这样的复杂系统也很难识别意图. 尽管对话行为识别是意图识别的简化问题，但是使用机器学习算法进行自动识别也是一个巨大的挑战.

[0008]许多机器学习算法已用于对话行为识别任务. n-gram是最简单的方法之一. 2006年，Louwerse使用此模型对句子的文本信息与对话行为之间的相关性进行建模. 贝叶斯分类器（Bayes classifier）与η-gram类似，它是使句子属于某种类型的DA的条件概率最大化. 与η-gram不同，贝叶斯分类器适用于任何特征. 在2003年，Levin等人. 提取语法特征并在NESP0LE预期库中使用贝叶斯分类器进行对话行为识别. 2004年，Grau等人. 将Naive Bayes分类器用于DAMSL-switchboard预测库，并使用词袋功能实现了66％的识别率. 其他传统的机器学习算法，例如决策树，最大熵分类器，最大Netropy，人工神经网络（ANN）和支持向量机（支持向量机，SVM）也被引入到行为识别的对话研究中. 2006年，Surendraran和Levow的工作证明了SVM模型的识别率是由于对话行为识别任务中的其他传统机器学习方法引起的.

[0009]上述方法均未考虑上下文句子的对话行为之间存在统计依赖性，并且此序列依赖性在确定当前句子的对话行为中起重要作用. 因此，我们需要一个相应的序列学习模型来解决对话行为识别问题. n-gram是最简单的序列学习模型之一. 1995年，Reithinger将此模型用于DA识别. 后来，在1997年，Lee等人. 使用条件概率公式扩展n-gram的条件概率，并使用该模型辅助机器翻译. . 但是，如果使用η-gram模型来描述句子对话行为之间的顺序依赖性，则在此模型中很难使用其他功能. 因此，一些研究人员介绍了隐马尔可夫模型（MM）. 尽管此模型弥补了n-gram的缺点，但它基于独立性的强大假设，并且该假设是在实际条件下得出的. 通常很难满足.

[0010]与隐马尔可夫模型相比，条件随机场（CRF）对独立性没有严格的要求. 同时，在2000年，Vapnik指出，在有监督的学习任务中，区别性模型比生成性模型具有更强的表达能力. 因此，作为判别模型的条件随机场应该比作为生成模型的隐马尔可夫模型更适合于对话行为识别. 但是，条件随机场模型本身的特征学习能力很差，不能有效地处理多模态特征.

[0011]近年来，引起机器学习研究者关注的深度学习具有很强的特征学习能力. 它可以从基础原始数据中自发学习一组适合解决当前识别任务的功能，在图像识别，IJ，语音识别，信息检索，自然语言处理等许多领域都取得了突破性的成果. 然而，经典的深度学习模型很难描述标签之间的序列依赖性.

[0012]如何真正地克服这些经典的机器学习模型的缺点，设计出一种有效且合适的方法来解决复杂的序列学习问题是当前需要解决的技术问题.

[发明内容]

[p] [0013]针对对话行为的自动识别所面临的挑战以及上述经典机器学习算法的问题，本发明提出了一种基于深度神经网络和条件随机场的对话行为识别方法. 从原始特征中学习与分类任务更相关的抽象特征，并能更有效地在对话行为中融合多模式信息，为后续的分类任务打下良好基础神经网络应用条件，同时可以更好地描述样本类基于对象的序列依赖性，提出了一个条件随机场作为主要框架，它克服了其他序列学习方法的缺点，并从整体上优化了每个对话.

[0014]本发明基于深度神经网络和条件随机场的对话行为识别方法的技术方案是: 识别方法包括以下步骤:

[0015]第1步. 让数据集包括口语中文语料库，数据集

[要求]

1. 一种基于深度神经网络和条件随机场的对话行为识别方法，其特征在于以下步骤: 步骤1.将数据集设置为包括语音汉语语料，即数据集

神经网络应用条件，其中M代表数据集中完整对话的数量，Nπ代表M个对话中第m个对话中包含的句子数，

表示第m个对话的第n个句子句子的第j种情态的特征，“”表示第m个对话的第n个句子句子的对话行为标签，L表示从每个句子中提取的多模. 模态特征，L = 10；从每个句子中提取多峰特征的因素包括: 句子的基本频率和能量；句子结尾的基调频率和能量；句子中重音的基本频率，能量和持续时间以及重音在句子中的位置；句子的长度，对话中句子的位置，说话者的性别，句子中使用的语气词；最终得到10个共有116个维度的多模态特征，具体内容如下: 模态1: 会话中句子的相对位置，会话中句子的相对长度，说话者的性别，说话者是否有改变，语调词；模态2: 相对位置，句子重音的持续时间，基频的最大值和最小值，平均值，最大值和最小值之间的差，能量的最大值和最小值，平均值之间的差，最大值和最小值；状态3: 句子的基本频率值，方差，最大值，最小值，均值与最大值之间的差，均值与最小值之间的差，四分位数差，峰度，偏度；方式四: 句子基频采样值平均分为10个部分，取每个采样的平均值进行重采样；模式5: 均值，方差，最大值，最小值，均值与最大值之差，均值与最小值之差，四分位数差，峰度，偏度；模式6: 将句子能量采样值平均分为20个部分，并将每个部分取平均值进行重新采样；模态7: 与句子末尾音调相对应的基频的均值，方差，最大值，最小值，均值和最大值差异，均值和最小值，四分位数差异，峰度，偏度；模式8: 将与句子结尾处的音调相对应的基频样本值分为5个部分，取每个采样的平均值作为平均值；状态9: 均值，方差，最大值，最小值，均值与最大值之间的差，均值与最小值之间的差，四分位数差，峰度，偏斜度与句子结尾处的句子音调相对应；模式10: 将与句子结尾的语调相对应的能量采样值平均分为20个部分取平均值进行重采样；第二步，构建条件随机场模型:

在公式（1）和公式（2）中，Z（X（m））是归一化因子，

代表转移功能，

代表状态特征函数； λ和μ是特征函数的权重，即条件随机字段中的参数λ和μ是通过学习算法从训练集中获得的；过渡状态函数定义为:

（3）在式（3）中，y′和y分别代表一定的对话行为标签，“#”和“#1”分别代表第m个对话的第uth和vth句的对话行为标签. 步骤3.基于多模态深度神经网络，构造条件随机场模型的状态特征函数: 3-1. 构建多模态深度神经网络: 包括多模态特征学习模块和多模态特征融合模块，其中，所述多模态特征学习模块包括L个深度神经网络，用于对每个深度神经网络进行复杂的非线性变换. 原始的多模式功能；多模态特征融合模块是具有隐藏层的神经网络，用于融合上述变换后获得的多模态特征. 3-2. 通过上述多模态深度神经网络处理原始多模态特征数据后，获得每个对话行为的每个句子的隶属度d =（tun，d2，...，dp），p表示对话行为的数量； 3-3. 使用上面获得的对话行为的隶属度，将条件随机场模型的状态特征函数定义为:

（4）步骤4.最大化对数似然函数并求解条件随机字段模型的参数:

（5）步骤5.推断对话行为的类型:

（6）通过求解整个对话的对话行为序列Y％，获得对话中每个句子的对话行为.

[文档编号] G06K9 / 66GK104217226SQ201410455219

【公众日】2014年12月17日申请日期: 2014年9月9日优先权日期: 2014年9月9日

【发明人】胡庆华，周玉灿申请人: 天津大学

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-212771-1.html