crf-seg是CRF模型用于自然语言处理(NLP)的Java工具包,目标是普及自然语言处理在生产环境中的应用。 crf-seg具备性能高效、架构清晰、语料时新、可自定义语料、可自定义模型的特点。
模型文件需要另外下载,并不包含在源码中,网盘下载:http://pan.baidu.com/s/1skQW35j,放置在 data/model/segment 下。
System.out.println(Xmnlp.crfSegment("你好,欢迎使用CRF分词工具!"));
-
使用GenerateBMESDemo(位于test中的org.xm.xmnlp.demo下)生成自己数据的序列标注集,之后用crf++生成crf模型。
-
提供熟语料参考文件以及我用GenerateBMESDemo生成的测试文件,可以作为格式参考,网盘下载:http://pan.baidu.com/s/1eStd0jg 。
-
提供人民日报2014版标注的分词数据,网盘下载:链接:http://pan.baidu.com/s/1gfae4Zh 密码:l506 。尊重版权,传播请注明出处。
-
提供linux版和windows版的crf++模型生成工具,网盘下载:http://pan.baidu.com/s/1skKkTgL 。
-
请通过命令行参数指定CRF++生成txt格式的模型,比如:
crf_learn -f 3 -c 4.0 template train.bmes.txt crf-simple.model -t
然后将生成的 crf-simple.model.txt 的路径替换到配置项CRFSegmentModelPath,首次运行后会得到相应的 crf-simple.model.txt.bin 文件; 下次加载时会直接从bin缓存加载,速度会快很多。