中文简繁正转换库 NCChineseConverter
- 授权协议: MIT
- 开发语言: Objective-C
- 操作系统: 跨平台
- 软件首页: https://github.com/nickcheng/NCChineseConverter
- 软件文档: https://github.com/nickcheng/NCChineseConverter
软件介绍
NCChineseConverter 是一个 基于 Objective-C 的中文简繁正转换库. 除此之外, 本项目还包括一个 Python 的词库转换工具.
本库的基本实现原理: 从 Mediawiki 提供的字典中提取数据, 转换为自己需要的格式, 然后用最大正向匹配算法进行字符替换.
特点
可以只使用单一词库
可扩充自定义词库
提供 NSString 的 Category
使用方法
用词典工具生成词典
把生成的词典放在项目的 Resources 目录下
按如下方式引用转换库和调用
#import "NCChineseConverter.h" … NSString *oriString = @""; NSString *result = [[NCChineseConverter sharedInstance] convert:oriString withDict:NCChineseConverterDictTypezh2TW]; …
Tool
下载词库并生成词典:
python dictgenerator.py
用本地词库生成词典(适用于已经下载了词库文件):
python dictgenerator.py n
利用词典工具会在当前目录生成如下词典文件:
zh2TW.txt (简体 -> 台湾正体)
zh2HK.txt (简体 -> 港澳繁体)
zh2SG.txt (简体 -> 新马繁体)
zh2CN.txt (繁体/正体 -> 大陆简体)
方便起见, 我在 dictionary 目录中放了转换好的词典文件. 目录名称即为词典生成时间.
注意: 请勿修改文件名, 转换库是严格按照文件名来读取词典的.
自定义扩充转换词组
词典工具是根据 Mediawiki 的词库来进行词典生成, 所以要等待 Mediawiki 的词库更新才能得到新的词典. 如果你有一些 Mediawiki 里没有的词语要扩充, 则可以使用该方法来使用.
使用前缀相同的字典文件来进行自定义词组的扩充, 转换库会自动加载对应的扩充字典.
比如, 把你自己的 简体 -> 台湾正体 词典命名为 zh2TW.custom.txt, 这样转换库就可以自动加载这个词典并在转换时使用.
备注
虽然词典工具一次生成四个词典, 但是你可以视情况只使用其中一个或多个. 需要注意的是如果你没有在项目中放入某个词典文件, 那么要避免在代码里调用该字典.
未来改进
增加更多转换词库
使用 Double-array Trie Tree 来构造原始字典, 提高搜索速度
改进分词算法
背景
简繁正的问题在此不多说, 都是历史遗留问题, 具体情况可以自行查看 Wikipedia, 用自己的思考去判断(漢字簡化爭論). 在此只讨论技术相关问题.
简繁转换不是单纯的从一个字转换为另一个字, 他包含很多内容, 如:
各种繁体/正体. 如: 港澳繁体, 台湾正体. 再加上各个华人地区的中文(如新加坡)使用等.
简体和繁体的对照往往不止一对一, 而是一对二, 一对三, 甚至一对五(多繁對一簡問題)
目前比较常用的转换方式主要是 Wikipedia 的转换方式 和 OpenCC.
Wikipedia 进行简繁转换的操作流程参见: 繁简处理
OpenCC 的库相对比较专业. 不过这是一个 C 库, 所以如果要在 iOS 下使用, 则需要自己把库编译成 iOS 可以使用的库再进行调用.
参考
凸优化
Stephen Boyd、Lieven Vandenberghe / 王书宁、许鋆、黄晓霖 / 清华大学出版社 / 2013-1 / 99.00元
《信息技术和电气工程学科国际知名教材中译本系列:凸优化》内容非常丰富。理论部分由4章构成,不仅涵盖了凸优化的所有基本概念和主要结果,还详细介绍了几类基本的凸优化问题以及将特殊的优化问题表述为凸优化问题的变换方法,这些内容对灵活运用凸优化知识解决实际问题非常有用。应用部分由3章构成,分别介绍凸优化在解决逼近与拟合、统计估计和几何关系分析这三类实际问题中的应用。算法部分也由3章构成,依次介绍求解无约束......一起来看看 《凸优化》 这本书的介绍吧!
