全英文内容搜索没有数据

[akincol4544]

the Hypertext Transfer Protocol HTTP is an application layer protocol in the Internet protocol 我增加了内容， 我搜 layer 没有出数据啊，搜 protocol 也没有数据，debug默认开的，控制台没有报错误

[xiaoyaoking]

放弃吧。。 我试了下， 这个搜索 使用得分词 不太理想。导致很多词他没分，然后逆就搜不到。

[jingkang99]

英文的空格被忽略，没有正确分词

[jingkang99]

分词用的是 jieba，可以调试下
tokenizer.go 里

//移除所有的标点符号
text = utils.RemovePunctuation(text)

//移除所有的空格
//text = utils.RemoveSpace(text)
fmt.Println("----------------> remove space\n")

移除空格导致英文分词不对
注释了就对了