为什么要处理自然语言？ | NLP基础

原创 YJL，HSC 智汇AI

NLP基础系列

为什么要处理自然语言

自然语言处理，英文是Natrual Language Processing，简写为NLP，原本是计算机科学领域的一个研究方向。

早几年，还没有几个外行人知道它。即使是程序员，如果不做NLP相关工作的，也有大多没听说过这个概念。

可是这几年，NLP从一个学术术语迅速爆红成了“社会词”，如今去求职/招聘/职场社交网站上看看，一大堆“自然语言处理”职位……

自然语言处理，怎么忽然一下子就变得重要了呢？让我们先来看看NLP到底是做什么——

处理自然语言

自然语言是什么很容易理解，就是在人类历史发展中自然而然形成的，我们平时用来交流的语言。

比如：汉语、英语、法语、日语、德语、西班牙语……斯瓦希迪语、波斯语、突厥语、吐火罗语……都是自然语言。

我们为什么要处理这些自然语言呢？

如果只是人类相互之间使用同一种自然语言交流，是不需要对这种语言做显性处理的。听-说或读-写的双方都可以直接理解作为中介的这种自然语言。

我们想让别人明白自己的需求，对着他/她的耳朵说话就行。可惜，我们不能这样来和机器交流，因为机器听不懂人类的语言。

机器听得懂什么呢？

想让机器理解，就要把我们说的话*处理*成机器听得懂的话。这就是自然语言处理。

本来，通过在键盘上敲一行特定字符或者啪啪啪点一溜按钮来操作计算机好像已经挺方便了。

但是，天才计算机科学家阿兰·图灵提出了通过图灵测试判断机器是否具备智能的观点——

图灵测试要求测试者与被测试者通过自然语言进行交流，如果大量测试者中的一定比例在达到了规定长度的交互时间后仍然不能发现与之交流的“人”其实是“一台机器”（硬件或软件），则该机器通过图灵测试，被认为具备了智能。

这个上世纪五十年代提出的测试在半个多世纪前就激发了计算机科学家们要让机器懂人话的雄心。

另一方面，人类现存的巨量自然语言资料和每天都在产生的大量以自然语言提出的要求，从资源和需求两个方面推动着自然语言处理的发展。

NLP要解决的问题

NLP能做哪些事？这是一个很大的话题, 下面我们且列举几个主要的方面：

文本分类就是将自然语言文本划分为不同的类别——也就是给文本打上事先定义好的标签，具体是什么标签，由分类任务来确定。

比如：在综合用户评论分析中, 标签可以定义为 “负面”, “中性”, “正面”。而在酒店评论分析中就可以把标签定义为”服务好”, “环境好”, “环境差”等。

文本分类被广泛应用到众多场景之中，例如：

文本分类是NLP技术的一个主要分支, 也是其他很多技术的基础。

NER就是在自然语言文本中定位出某些预定义分类的字串。这些预定义的分类一般包括：人名、地名、组织名称、数量、日期和时间等。

下面是一个例子：

Jim bought 300 shares of Acme Corp. in 2006.

这句话里面有一个人名：Jim，一个数字：300，一家公司：Acme Corp，和一个年代：2006。

经过NER处理后，这些字串都会被标识出来：

[Jim](Person)bought [300](Number) shares of [Acme Corp.](Organization)in [2006](Time).

在很多场景中，NER是十分必要的：