【Solr】- 分析器 Analyzers
< 返回列表时间: 2019-02-26来源:OSCHINA
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里?>>>
作用 :解析用户传递的搜索信息,抽取出关键字,然后进行过滤,最后去索引库检索,返回用户需要的信息,例如百度的关键字竞价机制
Solr分析器组成:分词器和过滤器 分词器:抽取关键字 过滤器:过滤关键字
Analyzers:分析器
作用:检查域的文本和生成token stream,分析器通过scheme.xml配置文件中的fieldType元素配置,传统的搜索时全文匹配,分析器可以通过分析用户输入的文本字符抽取term(关键字),进行查询然后汇总结果,这样搜索引擎更加智能化
简单案例:schema.xml配置 <fieldType name="nametext" class="solr.TextField"> <analyzer class="org.apache.lucene.analysis.core.WhitespaceAnalyzer"/> </fieldType> 分析:为solr.TextField的域类型指定分析器
复杂定义分析器: <fieldType name="nametext" class="solr.TextField"> <analyzer> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class="solr.StandardFilterFactory"/> <filter class="solr.LowerCaseFilterFactory"/> <filter class="solr.StopFilterFactory"/> <filter class="solr.EnglishPorterFilterFactory"/> </analyzer> </fieldType> 分析:Field的Text首先被传递给第一个solr.StandardTokenizerFactory,最后一个组件产生terms,词语,用于索引或查询nameText类型的field
注意: org.apache.solr.analysis包里面的类可以直接被引用为solr.为前缀的类 例: solr.EnglishPorterFilterFactory 等价于 org.apache.solr.analysis. EnglishPorterFilterFactory
Analyzer会影响在给定Filed里面索引的term,但是不会影响其实际存储的值
Analysis Phases:分析阶段*
分析发生在2种情况: 索引节点: 建立索引的时候Filed被创建时,语句分析生成的Token Stream被添加到索引并且TokenStream定义了Field的语句集 查询阶段:搜索的值被解析,并且匹配的结果语句集被保存在Field的索引
通常同样的分应用于index/query两个阶段,当进行准确的字符串匹配时效果令人满意,在其他的情况下索引和查询阶段可以轻微不同
多语句扩展分析
一些情况下Analysis处理不是自然语言,像同义词、过滤的停止词Analysis Factory可以在进行这种类型的查询,例如小写处理,分析工厂典型MultiTermAwareComponent,当solr对多语句集的结果执行查询分析事,只有MultiTermAwareComponent能用于查询分析器中,其他的Factory会被忽略 <fieldType name="nametext" class="solr.TextField"> <analyzer type="index"> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class="solr.LowerCaseFilterFactory"/> <filter class="solr.KeepWordFilterFactory" words="keepwords.txt"/> <filter class="solr.SynonymFilterFactory" synonyms="syns.txt"/> </analyzer> <analyzer type="query"> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class="solr.LowerCaseFilterFactory"/> </analyzer> <!-- No analysis at all when doing queries that involved Multi-Term expansion --> <analyzer type="multiterm"> <tokenizer class="solr.KeywordTokenizerFactory" /> </analyzer> </fieldType>
分词器:Tokenizer
作用:分词器主要用于拆分文本流为Tokens,每个Token是文本流的一个子串,分析器直到solr配置的Field,但是Tokenizer不知道,因此分词器只是进行简单的拆分工作
中文分词器ikAnalyzer配置步骤: 引入分词器jar包(ikAnalyzer2012_FF_u1)到lib目录中:solr/web-inf/lib 复制IKAnalyzer的配置文件和自定义词典和停用词典到solr的classpath目录下 配置fieldType指定使用中文分词器:注意analyzer和tokenizer的区分 <fieldType name="text_ik" class="solr.TextField"> <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType>
4.配置Field使用ik分词器的fieldType <field name="title_ik" type="text_ik" indexed="true" stored="true"/> <field name="content_ik" type="text_ik" indexed="true" stored="false" multiValued="true" />
效果:

注意:新版本的solr可能和IK分词器不兼容,需修改IK分词器源码
热门排行