自然语言处理工具fastText快速入门1.1介绍-简介

当今互联的世界中会产生大量的文本数据。该文本信息包括对事物的描述。比如人们在亚马逊评论产品，或者通过博客撰写想法。自然语言处理(NLP Natural Language Processing)是应用机器学习和其他计算技术来理解和表示口头及书面文本。以下是NLP的关注点：

主题建模：用于确定隐藏结构或存在于文档集合中的“抽象主题”。 主题建模 的有效应用是总结。例如法律文件复杂和冗长，系统将帮助读者获得文档的要点和事情的概括描述。

句子分类：分类为不同的标签。例如系统应该能够正确地将“Shahrukh Khan在迪拜事件中着火”归类为“娱乐”，另一句话“火灾爆发在商店对面的Breach糖果医院”进行分类为“新闻”。

机器翻译：世界上语言至少有3000种。大约有一半的使用者少于10,000，大约25％的使用者少于1,000。目前最好的翻译系统是谷歌翻译，但它只涵盖了100多种语言，所以需要开发机器学习翻译模型。

问答 (QA) 系统：根据人们在自然语言中的问题自动回答问题。围绕封闭的域系统构建的QA系统非常准确，因为它们可以检索与搜索相关的文档和文本。

情感分析：理解用户在谈论某事时的需求和意图。人们经常感情用事。

事件提取：以文本形式存储大量数据。例如一些法律文本可能描述了“犯罪”事件，其后是“调查”事件，其后是多个“听证”事件。事件本身可以嵌套，使得“听证”事件可以包括“呈现参数”事件和“呈现证据”事件。

命名实体检测：根据某些预定义的类别提取分类实体或特定信息，如人，组织，地理等。例如文字：“我们习惯湖南的辣味”，我们可以理解“买家”喜欢“辣味且地点有可能在湖南。如果从湖南的买家那里收到足够的证据，更多的这类食品可以在市场上销售。

关系检测：解析文本和识别焦点和代理，然后尝试找到它们之间的关系。例如，句子“迈克有流感”可以转换为人[关系：有] - >疾病。然后可以在业务环境中探索这些关系，以构建智能应用程序。

许多先前方法的建模技术面临的挑战是NLP需要大量文本数据，并且数据中存在大量的上下文信息。计算模型很难以有效的方式了解所有数据。

目前NLP模型只针主要针对对英语， fastText有可能改变这一切。 fastText团队已经发布了294种语言的预训练wor向量