当前位置：移动技术网 > IT编程>数据库>MongoDB > Elasticsearch6.x和7.x版本常用插件汇总

Elasticsearch6.x和7.x版本常用插件汇总

2019年08月19日 | 移动技术网IT编程 | 我要评论

申请邮箱账号,凤阳,btchina

elasticsearch插件汇总

基于es 7.3版本试用。

一、安全插件

1、x-pack

a、介绍

包括安全（x-pack-security），监视（x-pack-watcher），警报（x-pack-monitoring），报表（x-pack-graph），elasticsearch sql（x-pack-sql），跨集群复制（x-pack-ccr）、x-pack-upgrade、x-pack-rollup和机器学习（x-pack-ml）。7.x版本中，es的安全核心功能免费使用。

b、安装

es7.x版本以默认安装好x-pack。修改配置激活即可。

#在elasticsearch.yml最后添加
xpack.security.enabled: true
xpack.security.audit.enabled: true
#basic表示xpack使用基础版license，否则无法启动
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.enabled: true

重启es， 执行

./elasticsearch-setup-passwords interactive

会引导设置各种密码，包括elastic、kibana、apm_system、logstash_system、beats_system、remote_monitoring_user

c、使用

默认用户名elastic，例如

#curl请求
curl -xget -u "elastic:123456" http://192.0.0.1:9200/_cat/indices?v
#http请求
header添加
key=authorization  value = basic zwxhc3rpyzoxmjm0nty=

将username:secret进行base64加密得到 dxnlcm5hbwu6c2vjcmv0 然后前面加上一个basic和空格, 构造一个字符串形如: basic dxnlcm5hbwu6c2vjcmv0 然后添加到http的header中authorization作为键,该字符串为值。
若没添加authorization，restful请求时报错，返回如security_exception、401

d、结合kibana

es启用x-pack后，kibana会新增用户和角色管理菜单。kibana登录需要输入密码

e、es6.x版本使用x-pack

在es6.x中使用安全功能，需要在kibana中升级license。购买一个icense或申请一个30天的试用。在 kibana 中访问 management -> elasticsearch -> license management。选择试用然后在elasticsearch.yml添加如下配置

xpack.security.enabled: true
xpack.ml.enabled: true
xpack.license.self_generated.type: trial

重启es
在es的bin下执行如下命令，设置密码

elasticsearch-setup-passwords interactive

在kibana.yml中配置

elasticsearch.username: "elastic"
elasticsearch.password: "123456"

重启kibana，获得试用30天

二、分词插件

1、ik分词

a、介绍

最流行的分词插件

b、安装

cd /bin
./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.3.0/elasticsearch-analysis-ik-7.3.0.zip

c.使用

i.创建索引

1.create a index
curl -xput http://localhost:9200/index
2.create a mapping
curl -xpost http://localhost:9200/index/_mapping -h 'content-type:application/json' -d'
{
        "properties": {
            "content": {
                "type": "text",
                "analyzer": "ik_max_word",
                "search_analyzer": "ik_smart"
            }
        }

}'

analyzer说明： ik_smart: 会做最粗粒度的拆分 ik_max_word: 会将文本做最细粒度的拆分。

ii.分词查询

curl -xpost http://localhost:9200/index/_search  -h 'content-type:application/json' -d'
{
    "query" : { "match" : { "content" : "中国" }},
    "highlight" : {
        "pre_tags" : ["<tag1>", "<tag2>"],
        "post_tags" : ["</tag1>", "</tag2>"],
        "fields" : {
            "content" : {}
        }
    }
}

2、pinyin

a、介绍

pinyin插件能够将文档和查询条件在汉字和拼音间转换

b、安装

./elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v7.3.0/elasticsearch-analysis-pinyin-7.3.0.zip

c.使用

i.创建索引

put /medcl/ 
{
    "settings" : {
        "analysis" : {
            "analyzer" : {
                "pinyin_analyzer" : {
                    "tokenizer" : "my_pinyin"
                    }
            },
            "tokenizer" : {
                "my_pinyin" : {
                    "type" : "pinyin",
                    "keep_separate_first_letter" : false,
                    "keep_full_pinyin" : true,
                    "keep_original" : true,
                    "limit_first_letter_length" : 16,
                    "lowercase" : true,
                    "remove_duplicated_term" : true
                }
            }
        }
    }
}

ii.查询

get /medcl/_analyze
{
  "text": ["刘德华"],
  "analyzer": "pinyin_analyzer"
}

3、smartcn

a、介绍

中科院分词器，和ik类似。不同点是smartcn无法自定义词库

b、安装

./elasticsearch-plugin install https://artifacts.elastic.co/downloads/elasticsearch-plugins/analysis-smartcn/analysis-smartcn-7.3.0.zip

c.使用

类似ik tokenizer为smartcn

4、icu

a、介绍

elasticsearch的 icu 分析器插件使用国际化组件 unicode (icu) 函数库（详情查看）提供丰富的处理 unicode 工具。这些包含对处理亚洲语言特别有用的 icu_分词器，还有大量对除英语外其他语言进行正确匹配和排序所必须的分词过滤器。

b、安装

./elasticsearch-plugin install analysis-icu

5、ik或smart与pinyin组合使用

es分析器实际上是三个功能的封装，字符过滤器->分词器->token过滤器，按顺序执行创建自定义分析器，格式如下

put localhost:9200/mytest
{
    "setting": {
        "analysis": {
            "char_filter": { 自定义的字符过滤器 },
            "tokenizer": { 自定义的分词器 },
            "filter": { 自定义的token过滤器 },
            "analyzer": { 自定义的分析器，可以将上面的char_filter、tokenizer、filter用不同的组合拼起来，形成不同的分析器 }
        }
    }
}

例如ik和拼音组合

http://localhost:9200/article_ik_pinyin
{
	"settings": {
		"number_of_shards": "6",
		"number_of_replicas": "1",
		"index":{
			"analysis": {
				"analyzer": {
					"ik_pinyin_analyzer": {
						"type":"custom",
						"tokenizer": "ik_max_word",
	        			"filter": "pinyin_filter"
					}
				},
				"filter":{
		          "pinyin_filter":{
		            "type": "pinyin",
		            "keep_first_letter": false
		          }
		        }
			}
		}
	},
	"mappings": {
		"article_ik_pinyin": {
			"properties": {
				"id": {
					"type": "text"
				},
				"title": {
					"analyzer": "ik_pinyin_analyzer",
					"type": "text"
				}
			}
		}

	}
}

三、文本解析插件

4、ingest attachment plugin

a、介绍

这个是基于apache 文本扩展库tika插件之上开发的一款适合elasticsearch文本解析插件。在es5之前使用的是mapper-accachment。elasticsearch只能处理文本，不能直接处理文档。
ingest-attachment是一个开箱即用的插件，替代了较早版本的mapper-attachment插件，使用它可以实现对（pdf,doc,excel等）主流格式文件的文本抽取及自动导入。elasticsearch5.x新增一个新的特性ingestnode，此功能支持定义命名处理器管道pipeline，pipeline中可以定义多个处理器，在数据插入elasticsearch之前进行预处理。而ingest attachment processor plugin提供了关键的预处理器attachment，支持自动对入库文档的指定字段作为文档文件进行文本抽取。
由于elasticsearch是基于json格式的文档数据库，所以附件文档在插入elasticsearch之前必须进行base64编码。

b、安装

./elasticsearch-plugin install ingest-attachment

四、sql支持

1、x-pack-sql

es7.x版本的x-pack自带es sql

a、使用例如

http://localhost:9200/_sql
{
    "query": "select * from article_ik_pinyin"
}

2、elasticsearch-sql

a、介绍

支持到es6.8
https://github.com/nlpchina/elasticsearch-sql/

b、安装

./elasticsearch-plugin install https://github.com/nlpchina/elasticsearch-sql/releases/download/6.5.4.0/elasticsearch-sql-6.5.4.0.zip

c、使用

curl -x get "localhost:9200/_sql" -h 'content-type: application/json' -d'select * from article_smartcn_pinyin  limit 10'

五、可视化

1、kibana

a、介绍

es官方提供的可视化套件，集成了es开发工具、报表、仪表盘、数据挖掘等功能
kibana6.7+才支持汉化

b、安装

kibana安装版本要和es对应

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.3.0-linux-x86_64.tar.gz
tar -xzvf kibana-7.3.0-linux-x86_64.tar.gz

修改config/kibana.yml
i18n.locale: "zh-cn"
server.port: 5601
server.host: "内网ip"
ibana.index: ".kibana"
es有配置x-pack的话修改
elasticsearch.username: "elastic"
elasticsearch.password: "123456"

 启动

./bin/kibana

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！点击进行留言回复

MongoDB常用数据库命令大全

一、mongodb 数据库常用操作命令1、help查看命令提示helpdb.help();db.yourcoll.help();2、切换/创建数据库use ra... [阅读全文]
28个MongoDB经典面试题详解

mongodb是目前最好的面向文档的免费开源nosql数据库。如果你正准备参加mongodb nosql数据库的技术面试，你最好看看下面的mongodb nos... [阅读全文]
MongoDB 数据库的命名、设计规范详解

mongodb 数据库的命名和设计也有一套规范。只不过，由于用的人不多，目前在业界还没有形成权威的共识，今天根据我个人平时的一些经验，总结了一些规范第一部分，我... [阅读全文]
MongoDB中数据的替换方法实现类Replace()函数功能详解

近日接到一个开发需求，因业务调整，需要dba协助，将mongodb数据库中某集合的进行替换。例如我们需要将集合a中b字段中，有关《美好》的字符替换为《非常美好... [阅读全文]
解决MongoDB占用内存过大频繁死机的方法详解

从mongodb 3.4开始，默认的wiredtiger内部缓存大小是以下两者中的较大者：50％（ram-1 gb），或 256 mb例如，在总共有4gb ra... [阅读全文]
在 Fedora 上安装 MongoDB 服务器的方法教程

mongo（来自 “humongous” —— 巨大的）是一个高性能、开源、无模式的、面向文档的数据库，它是最受欢迎的 nosql 数据库之一。它使用 json... [阅读全文]
mongodb driver使用代码详解

mongodb 是一个基于分布式文件存储的数据库。由 c++ 语言编写。旨在为 web 应用提供可扩展的高性能数据存储解决方案。mongodb 是一个介于关系数... [阅读全文]
MongoDB操作符中的$elemMatch问题

问题如果mongodb 数据库集合中仅存在一条记录{ "_id" : objectid("5e6b4ef546b5f44e5c5b276d"), "name... [阅读全文]
Redis 字符串 SDS

SDS 简单动态字符串。 SDS的结构： struct sdshdr{ int len;//记录BUF数组中已使用字节的数量，等于SDS所八寸字符串的... [阅读全文]
理解Redis持久化，RDB持久化和AOF持久化的不同处理方式

理解和掌握Redis的持久机制，对于Redis的日常开发和运维都有很大帮助，也是在大厂面试经常被问到的知识点。 ... [阅读全文]

网友评论


验证码：

Elasticsearch6.x和7.x版本常用插件汇总

2019年08月19日 | 移动技术网IT编程 | 我要评论

elasticsearch插件汇总

一、安全插件

1、x-pack

a、介绍

b、安装

c、使用

d、结合kibana

e、es6.x版本使用x-pack

二、分词插件

1、ik分词

a、介绍

b、安装

c.使用

i.创建索引

ii.分词查询

2、pinyin

a、介绍

b、安装

c.使用

i.创建索引

ii.查询

3、smartcn

a、介绍

b、安装

c.使用

4、icu

a、介绍

b、安装

5、ik或smart与pinyin组合使用

三、文本解析插件

4、ingest attachment plugin

a、介绍

b、安装

四、sql支持

1、x-pack-sql

a、使用例如

2、elasticsearch-sql

a、介绍

b、安装

c、使用

五、可视化

1、kibana

a、介绍

b、安装

您可能感兴趣的文章:

相关文章:

网友评论