简介

数据资产地图首页对于关键字结果的搜索是通过ES(Elasticsearch)搜索引擎聚合实现的，ES搜索是一种基于Lucene的分布式搜索引擎。它被设计为一个开放、可扩展、高效的全文搜索和分析引擎，能够快速地存储、搜索和分析大量数据。ES搜索具有实时性、可扩展性和容错性等优点，广泛应用于日志分析、电商搜索、数据可视化等领域。

ES基础评分

ES中使用的是Lucene搜索匹配文档，使用实用评分函数（Practical Scoring Function）的公式来计算相关度。这个公式借鉴了词频/逆向文档频率（term frequency/inverse document frequency）和向量空间模型（vector space model），同时也加入了一些现代的新特性，如协调因子（coordination factor），字段长度归一化（field length normalization），以及词或查询语句权重提升。

评分公式

计算方式

（1）coord(q,d) 协调因子，基于文档中出现的查询个数。coord(q,d) = overlap / maxoverlap，其中overlap是检索命中query中term的个数，maxoverlap是query中总共的term个数。

（2）tf(t_in_d) 指项t在文档d中出现的次数frequency。具体值为次数的开根号。

（3）idf(t) 反转文档频率, 出现项t的文档数频率。

（4）t.getBoost 查询时候查询项加权。

（5）norm(t,d) 长度相关的加权因子，对于field的标准化因子，在官方给的解释是field越短，如果召回的话权重越大。

（6），queryNorm(q)查询的标准查询，ES官方文档中在默认query boost为1的情况下，会计算每个指项t的反转文档频率，并通过term的q的权重，进行标准查询。

注：t是指在q当中切分出来的field匹配项

ES优化评分

新的ES评分优化规则依据当前数据资产地图子产品的业务需求，配合用户搜索偏好需求进行调整，在ES基础评分上，通过计算影响因子的影响权重，从而对ES最终评分产生影响。

影响因子

影响因子分为：元数据质量评分、热门读取以及热门搜索。 （1）元数据质量评分（Metadata Quality Score，MDQS）是根据逻辑表进行评分，根据用户是否进行相关配置产生作用，当用户开启相关配置，增加其相关影响。

（2）热门读取（Read Count，RC）是表的读取热度，根据读取的次数对最终评分进行影响。

（3）热门搜索（Search Heat，SH）是来自对某张表的搜索热度，根据搜索次数对评分对最终评分进行影响。

新评分公式

计算方式

ES的基础评分作为新评分方式的基础，通过查询符合条件的影响因子的最大最小值，在最大最小值上进行归一化处理，再乘新的权重，计算出对该ES基础评分的影响分数，再加上ES的影响分数，从而计算出最终影响分数。

权重的设置分为两个部分：

（1）开启的影响因子数量。

（2）影响因子设置在[0,100]中的占比。当影响因子权重全部为0时，计算结果就是ES 的基础评分方式。各个影响因子的权重则是根据值进行等比计算。

例如：当前三个影响因子全部开启，三个影响因子在数据资产地图中分别设置为10,10,10，则他们各自的权重为10/enabled 100，10/enabled 100，10/enabled * 100。该方式可以有效避免新增分数影响过大，高于ES基础评分。