给博客搭建搜索系统

探索如何利用 Tantivy 库为博客构建高效的全文搜索系统。顺带介绍一些信息检索与 NLP 的知识。 核心思路 搜索系统是一个比较复杂的东西，大概分为以下几点： 分词：包括中文分词与英文分词 倒排索引：建立 token -> posting list 的映射 模糊匹配：包括编辑距离，n-gram 相似度 查询解析与组合：将用户查询拆分为 tokens，再使用布尔查询、加权查询、短语查询等，组合后进行查询 生成摘要，其中高亮显示关键词 分词 英文分词 英文分词相对简单，基本上分为3步 按空格分割，并去除标点符号 (Punctuation) 小写化 (Lowercasing) 词根化 (Ste…