MicroTokenizer

功能强大的中文分词软件包

点击访问项目地址(@Github)

选择远程服务器

分词服务器:

默认分词

支持多种经典和 State-Of-The-Art 的分词方法

输入想分词的句子

{{ message }} {{ tokenizer_list }} {{ tokenizer_class }} {{ token_list }}
{{ token }}

支持自定义字典

支持预先或者动态添加自定义字典的能力

输入想分词的句子
自定义字典
每个词语(可选权重(使用空格和词语隔开),见文本框第二行)放置在一行,使用 Shift+Enter 可以在文本框内换行

{{ message }} {{ tokenizer_list }} {{ tokenizer_class }} {{ token_list }}
{{ token }}

支持多分词器融合

支持同时享有:基于字典分类器的自定义词典的能力和 HMMCRF 算法的新词发现能力

输入想分词的句子
选择两个以上(含两个)的算法进行融合:按住 Ctrl 或者 Command 可以多选

{{ message }} {{ tokenizer_list }} {{ tokenizer_class }} {{ token_list }}
{{ token }}