第三次修改后中文分词程序的分词速度
2005-07-04 15:06:48 · 作者: 五帝 · 标签: 中文分词
程序改动：不使用 PHP 中的 Multi-Byte String 函数，自己判断汉字
分词方法：逆向最大匹配分词法，只对中文字符进行分词
词库大小：73,226 个词
编写语言：PHP
分词速度：
99% 中文 —— 211 KB —— 2s —— 105.50KB/s (+ 92.32KB/s)
45% 中文 —— 2, 100 KB —— 22s —— 95.45KB/s (+ 66.69KB/s)
00% 中文 —— 413 KB —— 6s —— 68.83KB/s (+ 9.83KB/s)
分词方法：逆向最大匹配分词法，只对中文字符进行分词
词库大小：73,226 个词
编写语言：PHP
分词速度：
99% 中文 —— 211 KB —— 2s —— 105.50KB/s (+ 92.32KB/s)
45% 中文 —— 2, 100 KB —— 22s —— 95.45KB/s (+ 66.69KB/s)
00% 中文 —— 413 KB —— 6s —— 68.83KB/s (+ 9.83KB/s)
当前语言: 中文 (简体)
