当前位置: 移动技术网 > IT编程>数据库>其他数据库 > ElasticStack学习(二):ElasticStack安装与运行

ElasticStack学习(二):ElasticStack安装与运行

2019年07月04日  | 移动技术网IT编程  | 我要评论

  一、elasticsearch的安装与运行

  1、由于elasticsearch是由java语言开发的,若要运行elasticsearch,需要安装并配置jdk,并要设置$java_home环境变量。

  2、elasticsearch版本对于java依赖的说明:

    1)elasticsearch5.0需要java8以上的版本;

    2)elasticsearch6.5开始支持java11;

    3)从elasticsearch7.0开始,内置了java环境;

    4)下图是elasticsearch和jvm的对应关系矩阵:

     

   3、elasticsearch下载说明

    1)下载地址:

    2)elasticsearch可以运行在主流操作系统上,同时也可以运行在docker中;

    3)本人电脑是windows系统,所以下载的是elasticsearch的windows版本;

  4、elasticsearch安装过程--前台模式(windows系统)

    1)elasticsearch在windows上的安装提供了两种形式,一种是以zip文件的形式进行解压;一种是以msi文件的形式进行安装;以前通常是以zip文件的形式在windows上进行安装,现在以msi文件格式进行安装也是可行的,它提供了一种最简便的入门体验;

    2)我们采用以zip文件的形式进行安装。首先将下载完毕的elasticsearch压缩包进行解压,此时会创建一个名称为elasticsearch-x.x.x的文件夹,将其设置为$es_home环境变量的引用路径;

    

    3)打开命令窗口,进入到当前elasticsearch的目录中,如下图所示:

    

    4)运行elasticsearch,进入bin目录下,执行elasticsearch.bat文件。如若想停止运行elasticsearch,按ctrl+c;

    

    5)验证elasticsearch是否正在运行,通过发送http请示,向localhost:9200进行请求。若elasticsearch运行正常,则返回如下结果:

    

  5、elasticsearch安装过程--后台模式(windows系统)

  elasticsearch可以作为一个服务在后台进行运行,或当系统启动时可以自动运行,不需要人为干预。服务安装可以通过bin目录下面的elasticsearch-service.bat脚本来实现,该脚本可以实现安装、卸载、管理和配置服务,并可以启动和停止服务,所有操作均可以通过命令行来完成。如下所示:

1 g:\elasticsearch-7.2.0\bin>elasticsearch-service.bat
2 
3 可操作的命令:install|remove|manage|start|stop [service_id]

   所以,执行该脚本,需要一个命令参数。同时,根据情况需要一个service_id,也就是可选参数。

  在安装服务时,确保服务的名称和java_home是可用的,如下图所示:

  

  6、elasticsearch文件目录结构

  

  7、jvm配置说明

  在config目录中jvm.options文件里,对jvm的默认配置为1gb。在生产环境中,建议最大与最小内存设置成一样的,最大内存不要超过机器的50%,同时内存的总量不要超过30gb。相关文章可参照:

   8、elasticsearch插件的安装

  执行bin目录中elasticsearch-plugin脚本,查看目前已经安装的插件,如下图所示:

  

  可以看出目前没有安装任何插件,现在可以安装一个分词插件analysis-icu,如下图所示:

  

  可以看到,正在从elastic站点进行插件的下载和安装。

 

  二、kibana的安装与运行

  1、kibana下载地址:;

  2、将下载的压缩包进行解压缩,如果需要对kibana进行一些配置,可以在config目录下面的kibana.yml文件中进行修改;

  3、首先将elasticsearch运行起来,因为kibana是基于elasticsearch进行运行的;

  4、kibana运行的默认端口是5601,向浏览器中访问:http://www.lhsxpumps.com/_localhost:5601,可见如下图所示:

  

  5、通过点击添加样例数据链接,可以看到如下图:

  

  我们可以添加关于电商、航空、网络日志三种样例数据。

  6、另外,在kibana中的devtool是一个很有用的工具,它可以调试elasticsearch的api;

  7、若要想对kibana进行汉化,从kibana6.8和es7.0开始支持,在config目录中,对kibana.yml文件中的i18n.locale项设置成: "zh-cn",也就是i18n.locale: "zh-cn"就可以了。

 

  三、logstash的安装与运行

  1、logstash的下载地址:

  2、从地址中下载最小的测试数据集,将下载的数据集中的movies.csv文件导入到elasticsearch中;

  3、在logstash目录下面的bin目录下面建立logstash.conf文件,配置内容如下:

input {
  file {
    path => ["g:/logstash-7.2.0/sample-source/movies.csv"]
    start_position => beginning
    sincedb_path => "g:/logstash-7.2.0/abc"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

#  mutate {

#    gsub => [
#      
#      "year", "\\)", ""
#    ]
#  }


  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }



}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

   4、打开cmd,进行logstash目录下面的bin目录下,执行logstash -f logstash.conf,会将数据导入到elasticsearch中,如下图所示:

  

 

  大家可关注我的公众号

  

  知识学习来源:《elasticsearch核心技术与实战》 

如对本文有疑问, 点击进行留言回复!!

相关文章:

验证码:
移动技术网