Icefox's Blog

  Stanford Word Segmenter Tokenization of raw text is a standard pre-processing step for many NLP tasks. For Englis…

• ICEFOX
• 2015年10月27日
• 3,367

  中文分词是个基础问题，研究成果已有不少，我拣几个我自己觉得好的吧。 @张磊 提到的mmseg是我自己最喜欢的分词方法，简单、高效、实用、效果还不错。http://technology.chtsai.org/mmseg/ 我 给…

• ICEFOX
• 2015年10月27日
• 3,217

Lucene.Net+盘古分词器(详细介绍) 本章阅读概要 1、Lucenne.Net简介 2、介绍盘古分词器 3、Lucene.Net实例分析 4、结束语（Demo下载） Lucene.Net简介 Lucene.net是Lucene的.n…

• ICEFOX
• 2015年10月27日
• 3,215

随 着搜索经济的崛起，人们开始越加关注全球各大搜索引擎的性能、技术和日流量。作为企业，会根据搜索引擎的知名度以及日流量来选择是否要投放广告等；作为 普通网民，会根据搜索引擎的性能和技术来选择自己喜欢的引擎查找资料；作为技术人员，会把有代表性…

• ICEFOX
• 2015年10月26日
• 3,043

这段时间通过研究目前在互联网上可以搜索到的中文分词算法，感觉很难找到既快又准的分词方法，通过几天时间的研究，我终于找到了一种快 速且较准确的中文分词方法。现在回过头来想想，觉得其实问题并不很复杂，对于一般应用，我觉得这个算法应该基本够用了，…

• ICEFOX
• 2015年10月26日
• 3,443

一、       为什么要进行中文分词？ 词是最小的能够独立活动的有意义的语言成分，英文单词之间是以空格作为自然分界符的，而汉语是以字为基本的书写单位，词语之间没有明显的区分标记，因此，中文词语分析是中文信息处理的基础与关键。 Lucene…

• ICEFOX
• 2015年10月26日
• 20,548