计算机的性能分类 腾讯AI Lab解读16篇入选论文(2)

3. 自注意力神经网络模型的局部性建模

Modeling Localness for Self-Attention Networks

本文由腾讯 AI Lab 主导，与澳门大学合作完成。自注意力模型可以直接注意所有输入元素，在很多任务中被证明具有捕获全局依赖的能力。然而，这种依赖信息的捕获是通过加权求和操作完成的，这可能会导致其忽视相邻元素间的关系。本文为自注意力网络建立局部性模型，以增强其学习局部上下文的能力。具体而言，我们将局部模型设计为一种可学习的高斯偏差，这种高斯偏差表示了所强化的局部范围。随后，所得到的高斯偏差被用于修正原始注意力分布以得到局部强化的权重分布。此，而较高层则更注重全局信息的捕获。因此，为了保持原模型捕获长距离依赖能力的同时强化其对局部信息的建模， 本文仅将局部性建模应用于较低层的自注意力网络中。在汉英和英德翻译任务的定量和定性分析证明了所提出方法的有效性和适用性。

4. 用于短文本分类的主题记忆网络

Topic Memory Networks for Short Text Classification

本文由腾讯 AI Lab 主导，与香港中文大学合作完成。许多分类模型在短文本分类上性能欠佳，其主要原因是短文本所产生的数据稀疏性问题。为了解决这一问题，本文提出了一种新颖的主题记忆机制用于编码那些对分类有用的主题表示，以提升短文本分类的性能。前人的工作主要专注于用额外的知识扩充文本特征或者利用已经训练好的主题模型，不同于过去的工作，本文的模型能够在记忆网络框架下通过端到端的方式同时学习主题表示和文本分类。四个基准数据集上的实验结果证明了本文的模型不仅在短文本分类上的性能超过了之前最先进的模型，同时也能够产生有意义的主题。

5. 一种用于自动构造中文错字检查语料的混合方法

A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check

本文由腾讯 AI Lab 主导，与清华大学和腾讯 SNG 合作完成。中文错字的自动检查是一个富有挑战又十分有意义的任务，该任务不仅用于许多自然语言处理应用的预处理阶段，而且可以极大促进人们的日常读写。数据驱动的方法在中文错字检查十分有效，然而却面临着标注数据缺乏的挑战。这个工作提出了一种自动构造用于拼写检查数据集的方法，分别通过基于 OCR 和 SR 的方法构造视觉上和听觉上相似的字来模拟错字。利用本文提出的方法，研究人员构造了一个的数据集用于训练不同的错字自动检查模型，在三个标准的测试集上的实验结果证明了本文自动构造数据集方法的合理性和有效性。

6. 基于对抗条件变分自编码器的中文诗歌生成

Generating Classical Chinese Poems via Conditional Variational Autoencoder and Adversarial Training

通俗性就是要用明白晓畅的文字介绍科技知识,使之生动、易懂.“整个科普创作过程,实际上也就是专门知识通俗化的过程.”（章道义等编《科普创作概论》,北京大学出版社,1983年版,第38页）这句话点明了科普创作的实质.不通俗地把科学知识表达出来,读者理解不了,就起不到科普创作的作用,科普创作也就失去了意义.科普创作可以运用多种方法使科普作品通俗化.如用文艺形式创作,使之生动有趣,引人入胜.但这不是唯一的方法,科普作品,只要简明扼要,深入浅出,通俗易懂地写清楚,同人们的实际生活和工作联系起来,就能达到通俗化.切忌简单化、庸俗化,或简单得残缺不全,只在抽象的概念中兜圈子。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-89815-2.html