中文命名实体识别工具（NER）哪家强？

自去年以来，在AINLP公众号上陆续给大家提供了自然语言处理相关的基础 工具 的在线测试接口，使用很简单，关注AINLP公众号，后台对话关键词触发测试，例如输入 “中文分词 我爱自然语言处理”，“词性标注 我爱NLP”，“情感分析 自然语言处理爱我"，"Stanza 52nlp" 等，具体可参考下述文章：

既然中文分词、词性标注已经有了，那下一步很自然想到的是命名实体识别（NER，Named-entity recognition）工具了，不过根据我目前了解到的情况，开源的中文命名实体工具并不多，这里主要指的是一些成熟的自然语言处理开源工具，不是github上一些学习性质的代码。目前明确有NER标记的包括斯坦福大学的NLP组的Stanza，百度的Paddle Lac，哈工大的LTP，而其他这些测试过的开源NLP基础工具，需要从词性标注结果中提取相对应的专有名词，也算是一种折中方案。

在之前这些可测的工具中，除了斯坦福大学的Stanza和CoreNLP有一套词性标记外，LTP使用的是863词性标注集，其他包括Jieba，SnowNLP，PKUSeg，Thulac，HanLP，FoolNLTK，百度Lac等基础工具的词性标注集主要是以人民日报标注语料中的北京大学词性标注集（40+tags)为蓝本：

其中HanLp增加了更细粒度的词性标注集，具体可参考： https://www.hankcs.com/nlp/part-of-speech-tagging.html

HanLP使用的HMM词性标注模型训练自2014年人民日报切分语料，随后增加了少量98年人民日报中独有的词语。所以，HanLP词性标注集兼容《ICTPOS3.0汉语词性标记集》，并且兼容《现代汉语语料库加工规范——词语切分与词性标注》。

另外百度词法分析工具Lac使用的词性标注集中特别加了一套强相关的专名类别标签：

词性和专名类别标签集合如下表，其中词性标签24个（小写字母），专名类别标签4个（大写字母）。这里需要说明的是，人名、地名、机名和时间四个类别，在上表中存在两套标签（PER / LOC / ORG / TIME 和 nr / ns / nt / t），被标注为第二套标签的词，是模型判断为低置信度的人名、地名、机构名和时间词。开发者可以基于这两套标签，在四个类别的准确、召回之间做出自己的权衡。

哈工大LTP的命名实体标注集没有提取“时间”，具体参考如下：

https://ltp.readthedocs.io/zh_CN/latest/appendix.html

基于上述观察，我决定采用这种方案做中文命名实体工具测试接口：对于斯坦福Stanza的NER结果直接保留，对于 Baidu Lac 结果则保留强置信度的人名（PER）、地名（LOC）、机构名（ORG）、时间（TIME）提取结果，对于哈工大LTP的NER结果做个人名（Nh=>PER）、地名（Ns=>LOC）和机构名（Ni=>ORG）的映射，对于其他几个工具，去除斯坦福的老NLP工具CoreNLP，其他NLP工具则保留nr、ns、nt、t、nz这几个提取工具，并做了标记映射人名（nr=>PER），地名（ns=>LOC），机构名（nt=>ORG），时间（t=>TIME)以及其他专名（nz=>OTHER)。下面是几组测试结果，欢迎关注AINLP公众号试用，结果仅供参考，毕竟除了斯坦福Stanza、Baidu Lac以及哈工大LTP外，其他几个工具的“NER命名实体识别”功能是“强加”的，在实际使用中，可以根据需求采用：