Press "Enter" to skip to content

Elastic:如何查询特殊字符

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

某些业务场景下我们需要使用特殊符号来进行查询,但是es的默认分词器以及ik分词器等大多数分词器都会将特殊符号过滤掉,导致后续无法通过特殊符号查询到数据。

 

那幺我们如何来解决这个问题呢,下面列举出几种处理方案

 

1 问题复现

 

1、设置mapping

 

PUT test_special
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

 

2、插入带有特殊符号的数据

 

PUT test_special/_doc/1
{"name":"[email protected]#!sina.com"}

 

3、通过‘@’去查询原数据

 

GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#!"
    }
  }
}

 

4、结果为空

 

"hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  }

 

2 解决方案

 

2.1 使用keyword查询

 

首先从业务层考虑,是否需要单个的特殊符号查询,还是说是带上特殊符号的查询词搜索,所以先从最简单的用keyword+term查询试试看能够满足业务需求

 

GET test_special/_search
{
  "query": {
    "term": {
      "name.keyword": "[email protected]#!sina.com"
    }
  }
}

 

2.2 mapping映射,防止过滤

 

这里的特殊字符的别名用两个点隔开,并且加上了 xxx 前缀,点的作用是为了让其被单独分词,也可以替换成逗号,前缀的目的是为了让特殊字符的别名唯一,后续插入的数据不会和这个重复。 xxx 可以是你公司的名称或者其他含义的前缀。

 

PUT test_special
{
  "settings": {
    "analysis": {
      "analyzer": {
        "special_analyzer": {
          "tokenizer": "standard",
          "char_filter": [
            "special_mapping"
          ]
        }
      },
      "char_filter": {
        "special_mapping":{
          "type": "mapping",
          "mappings": [
            "@=>.xxxAt.",
            "#=>.xxxJin.",
            "!=>.xxxSigh.",
            "*=>.xxxXing."
          ]
        }
      }
    }
  }, 
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "special_analyzer", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

 

如上方法的原理是将特殊字符转换为能识别的普通字符组合,只是这个字符组合具备唯一性,我们单独查看下分词结果就能一目了然

 

GET test_special/_analyze
{
  "analyzer": "special_analyzer", 
  "text": [
    "[email protected]#*sina.com"
  ]
}

 

分词结果

 

"tokens" : [
    {
      "token" : "55555",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "<NUM>",
      "position" : 0
    },
    {
      "token" : "xxxAt",
      "start_offset" : 5,
      "end_offset" : 5,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "xxxJin",
      "start_offset" : 6,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "xxxXing.sina.com",
      "start_offset" : 7,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 3
    }
  ]

 

查询测试

 

GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#*"
    }
  }
}

 

结果中可以将数据查询出来,查询词在查询时因为使用的match查询,因此也会被分词,并且调用的分词器就是查询字段的分词器,因此特殊符号就被替换且分词为了: xxxAt , xxxJin , xxxXing ,通过这些分词是可以查询到结果的

 

"hits" : [
      {
        "_index" : "test_special",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.5098253,
        "_source" : {
          "name" : "[email protected]#!sina.com"
        }
      }
    ]

 

后续如果有新的特殊字符如何更新呢?

 

官方文档 中有介绍,mapping char filter中除了直接写mappings外,还可以通过mappings_path,将mappings内容写到文本文件中,然后在mappings_path中配置这个文件的路径,就可以直接从这个文件中读取,下次更新时就更新文件,然后重启集群即可。这里需要注意的是该文本必须是UTF-8编码的,同时mappings_path路径要幺是绝对路径要幺是基于es config路径的相对路径

 

2.2 ngram分词器,设置min_gram为1

 

es中还提供了一个 ngram分词器 ,可以将字段按照指定的长度进行分词

 

我们先通过一个实例来体会它的作用,比如字符串“12345”,设置了如下的分词器,那幺分词结果就是1,12,2,23,3,34,4,45,5

 

也就是说它会将其按照最小长度为1,最大长度为2的范围进行分词。同时如何字符串中包含特殊字符或者空格也会保留,将其按照一个字符处理

 

"tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 2 
        }
      }

 

因此,我们创建索引,这里的min_gram必须设置为1,max_gram可以根据业务情况设置

 

PUT test_special
{
  "settings": {
    "analysis": {
      "analyzer": {
        "special_analyzer": {
          "tokenizer": "ngram_tokenizer"
        }
      },
      "tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 2 
        }
      }
    }
  },
 "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "special_analyzer", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

 

插入数据,并查询测试

 

PUT test_special/_doc/1
{"name":"[email protected]#!sina.com"}
 
GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#!"
    }
  }
}

 

结果

 

"hits" : [
      {
        "_index" : "test_special",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.4384104,
        "_source" : {
          "name" : "[email protected]#!sina.com"
        }
      }
    ]

 

优缺点:

 

这种方式分隔的粒度很小,能够很准确的查询到我们要的数据,但是同时也因为其粒度很小,所以会占用很多空间,因此使用时需要综合考虑,是否真的需要这种空间换取时间的做法

 

2.3 其他解决方案

 

1、另外还可以通过修改lucene源码的方式来跳过特殊字符过滤

 

2、也可以用一些第三方插件来解决,比如 elasticsearch-analysis-hanlp

 

3、同时考虑到java中有转义符的存在,推测es中应该也有类似的处理,但是尝试使用转义符插入数据会报错,可能用法不对

 

如果有知道其他方式的小伙伴也可以留言告诉我

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。