用深度学习解决自然语言处理中的7大问题,文本分类、语言建模等自然语言处理
网络
用深度学习解决自然语言处理中的7大问题,文本分类、语言建模等自然语言处理
工具
用深度学习解决自然语言处理中的7大问题,文本分类、语言建模等自然语言处理
模型
用深度学习解决自然语言处理中的7大问题,文本分类、语言建模等自然语言处理
深度学习
用深度学习解决自然语言处理中的7大问题,文本分类、语言建模等自然语言处理
自然语言处理

自然语言处理领域正在从统计学方法转向神经网络方法。在自然语言中,仍然存在许多具有挑战性的问题。但是,深度学习方法在某些特定的语言问题上取得了state-of-the-art的结果。不仅仅是在一些benchmark问题上深度学习模型取得的表现,这是最有趣的;事实上,单个模型可以学习单词的含义和执行语言任务,从而避免需要一套专门的、人工的方法。


这篇文章将介绍深度学习方法正在取得进展的7类有趣的自然语言处理任务。


文本分类

语言建模

语音识别

字幕生成

机器翻译

文档摘要

问题回答


每个任务都提供了对问题的描述,一个例子,以及有关演示方法和结果的论文的引用。大多数参考资料来自Goldberg的A Primer on Neural Network Models for Natural Language Processing(https://arxiv.org/abs/1510.00726)。


1. 文本分类

给定一个文本的例子,预测一个预定义的类标签。


文本分类的目的是对文档的话题或主题进行分类。

——统计自然语言处理基础(Foundations of Statistical Natural Language Processing,1999)


流行的分类示例是情绪分析,其中类标签表示源文本的情绪基调,例如“积极”或“消极”。


以下是另外3个例子:

垃圾邮件过滤,将电子邮件文本分类为垃圾邮件。

语言识别,对源文本的语言进行分类。

流派分类,对虚构故事的流派进行分类。


此外,这个问题也可能是一个文本被分为多个类的方式,即所谓的多标签分类。例如,预测源推文的多个标签。


更多阅读:

文本分类-学术百科 www.scholarpedia.org/article/Text_categorization

文档分类-维基百科 https://en.wikipedia.org/wiki/Document_classification


下面是有关文本分类的一些深度学习论文:


对烂番茄影评的情感分析

Deep Unordered Composition Rivals Syntactic Methods for Text Classification, 2015. https://cs.umd.edu/~miyyer/pubs/2015_acl_dan.pdf


对amazon产品评论、IMDB电影评论和分类主题新闻文章情绪分析

Effective Use of Word Order for Text Categorization with Convolutional Neural Networks, 2015. https://arxiv.org/abs/1412.1058


对电影评论的情绪分析,将句子归类为主观或客观,对问题类型进行分类,对产品评论的情感进行分类,等等。

Convolutional Neural Networks for Sentence Classification, 2014. https://arxiv.org/abs/1408.5882


2. 语言建模

语言建模实际上是一个更有趣的自然语言问题的子任务,特别是那些在其他输入条件下调节语言模型的问题。


这个问题是根据前面的单词预测下一个单词。该任务是语音识别或光学字符识别(OCR)的基础,也用于拼写校正、手写识别和统计机器翻译。

——Foundations of Statistical Natural Language Processing (page 191), by Christopher D. Manning & Hinrich Schütze


除了语言建模的学术兴趣,它是许多深度学习自然语言处理架构的关键组成部分。语言模型学习词汇之间的概率关系,生成在统计上与源文本一致的新的词汇序列。


单独来说,语言模型可以用于文本或语音生成;例如:

生成新的文章标题

生成新的句子、段落或文档

生成一个句子的后续句子


有关语言建模的更多内容,参阅:

语言建模-维基百科 https://en.wikipedia.org/wiki/Language_model

循环神经网络的不合理有效性(The Unreasonable Effectiveness of Recurrent Neural Networks)2015

基于生成模型的文本到语音合成 https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture 10 - Text to Speech.pdf


下面是一个关于语言建模深度学习例子:

英语文本、书籍和新闻文章的语言模型

一种神经概率语言模型(A Neural Probabilistic Language Model)www.jmlr.org/papers/v3/bengio03a.html


3.语音识别

语音识别是指理解所说的问题。语音识别的任务是将一个包含自然语言话语的声音信号映射到说话者预期的相应序列。

——深度学习(page 458)


给定话语的音频数据,语音识别模型需要生成人类可读的文本。考虑到这个过程的自动性质,这个问题也可以被称为自动语音识别(ASR)。使用语言模型来创建文本输出,该输出基于音频数据。


一些例子包括:

转录讲话

为电影或电视节目制作文字说明

开车时用语音发出指令


有关语音识别的更多信息,请参阅:

语音识别-维基百科 https://en.wikipedia.org/wiki/Speech_recognition


下面是三个用于语音识别的深度学习方法的例子:


英语语音转文本

Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks,2006

www.cs.toronto.edu/~graves/icml_2006.pdf

Speech Recognition with Deep Recurrent Neural Networks, 2013.

https://arxiv.org/abs/1303.5778

Exploring convolutional neural network structures and optimization techniques for speech recognition, 2014.

https://www.microsoft.com/en-us/research/publication/exploring-convolutional-neural-network-structures-and-optimization-techniques-for-speech-recognition/


4. 字幕生成

字幕生成是有关描述图像内容的问题。给定例如照片等数字图像,生成图像内容的文本描述。语言模型用于创建以图像为条件的描述。


一些例子包括:

描述场景内容

创建照片标题

描述视频


这不仅仅是为听力障碍者的应用,而且还可以生成可用于搜索图像和视频的具有可读性的文本,例如在网络上。


以下是3个字幕生成深入学习方法的例子:

生成照片标题

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, 2016.

https://arxiv.org/abs/1502.03044

Show and tell: A neural image caption generator, 2015.

https://arxiv.org/abs/1411.4555

生成视频字幕

Sequence to Sequence – Video to Text, 2015.

https://arxiv.org/abs/1505.00487


5. 机器翻译

机器翻译是将一种语言的源文本转换为另一种语言的问题。


机器翻译,将文本或语音从一种语言自动翻译成另一种语言,是NLP最重要的应用之一。

——统计自然语言处理基础,463页,1999。


考虑到神经网络的使用,这一领域也被称为神经机器翻译。


在机器翻译任务中,输入已经由某种语言的符号序列组成,并且计算机程序必须将其转换成其他语言的符号序列。这通常适用于自然语言,例如从英语翻译成法语。深度学习最近开始在这类任务上有重要影响。

——深度学习,98页,2016


语言模型用于以另一种语言输出目标文本,以源文本为条件。


一些例子包括:

将文本文件从法语翻译成英语

将西班牙语音频转换为德语文本

将英语文本翻译成意大利语音频


有关神经机器翻译的更多信息,参阅:

神经机器翻译-维基百科 https://en.wikipedia.org/wiki/Neural_machine_translation


以下是机器翻译深度学习方法的3个例子:

将英语翻译成法语

Sequence to Sequence Learning with Neural Networks, 2014.

https://arxiv.org/abs/1409.3215

Neural Machine Translation by Jointly Learning to Align and Translate, 2014.

https://arxiv.org/abs/1409.0473

Joint Language and Translation Modeling with Recurrent Neural Networks, 2013.

https://www.microsoft.com/en-us/research/publication/joint-language-and-translation-modeling-with-recurrent-neural-networks/


6. 文档摘要

文档摘要是创建文本文档的简短描述的任务。即,使用语言模型来输出基于完整文档的总结性摘要。


文件摘要的一些例子包括:

创建文档的标题

创建文档的概要


有关该主题的更多信息,请参阅:

Automatic summarization-维基百科 https://en.wikipedia.org/wiki/

深度学习是否(成功地)被应用于自动文本摘要?https://www.quora.com/Has-Deep-Learning-been-applied-to-automatic-text-summarization-successfully


以下是关于文档摘要深度学习方法的3个例子:

新闻文章中的句子概要:

A Neural Attention Model for Abstractive Summarization, 2015.

https://arxiv.org/abs/1509.00685

Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, 2016.

https://arxiv.org/abs/1602.06023

Neural Summarization by Extracting Sentences and Word, 2016.

https://arxiv.org/abs/1603.07252


7. 问题回答

问题回答是给出一个主题(例如文本文档)回答有关该主题的具体问题的任务。


一些例子:

回答有关维基百科页面的问题

回答有关新闻文章的问题

回答有关病例的问题


参阅:

Question answering - 维基百科

https://en.wikipedia.org/wiki/Question_answering

回答有关新闻文章的问题

Teaching Machines to Read and Comprehend, 2015.

papers.nips.cc/paper/5945-teaching-machines-to-read-and-comprehend

回答一般知识问题

Question Answering over Freebase with Multi-Column Convolutional Neural Networks, 2015.

www.aclweb.org/anthology/P15-1026

回答基于特定文件的实质性问题

Deep Learning for Answer Sentence Selection, 2015.

https://arxiv.org/abs/1412.1632


更多阅读

A Primer on Neural Network Models for Natural Language Processing, 2015.

https://arxiv.org/abs/1510.00726

Natural Language Processing (almost) from Scratch, 2011.

https://arxiv.org/abs/1103.0398

Deep Learning for Natural Language Processing, Practicals Overview, Oxford, 2017

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture 2b - Overview of the Practicals.pdf

What NLP problems has deep learning or neural networks been applied to successfully?

https://www.quora.com/What-NLP-problems-has-deep-learning-or-neural-networks-been-applied-to-successfully

Can deep learning make similar breakthroughs in natural language processing as it did in vision & speech?

https://www.quora.com/Can-deep-learning-make-similar-breakthroughs-in-natural-language-processing-as-it-did-in-vision-speech


原文:https://machinelearningmastery.com/applications-of-deep-learning-for-natural-language-processing/


欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:418451831

tags: https,org,文本,arxiv,abs,Neural,语言,自然语言,Language
分页:12
转载请注明
本文标题:用深度学习解决自然语言处理中的7大问题,文本分类、语言建模等自然语言处理
本站链接:http://www.codesec.net/view/564284.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 商业智能 | 评论(0) | 阅读(95)