Skip to content

Latest commit

 

History

History
44 lines (29 loc) · 993 Bytes

README.md

File metadata and controls

44 lines (29 loc) · 993 Bytes

nlp-lang

1.X Build Status sourcegraph

##MAVEN

<dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7.6</version>
    </dependency>
</dependencies>

这个项目是一个基本包.封装了大多数nlp项目中常用工具

工具

  • √ 词语标准化
  • √ tire树结构
  • √ 双数组tire树
  • √ 文本断句
  • √ html标签清理
  • √ Viterbi算法增加

组件

  • √ 汉字转拼音
  • √ 简繁体转换
  • √ bloomfilter
  • √ 指纹去重
  • √ SimHash文章相似度计算
  • √ 词共现统计
  • √ 基于内存的搜索提示
  • √ WordWeight词频统计,词idf统计,词类别相关度统计