我要评论安装
首先需要安装好java和scala，然后安装，确保path 和java_home 已经设置，然后需要使用scala的sbt 构建spark如下：
$ sbt/sbt assembly
构建时间比较长。构建完成后，通过运行下面命令确证安装成功：
$ ./bin/spark-shell
scala> val textfile = sc.textfile("readme.md") // 创建一个指向 readme.md 引用
scala> textfile.count // 对这个文件内容行数进行计数
scala> textfile.first // 打印出第一行
apache访问日志分析器
首先我们需要使用scala编写一个对apache访问日志的分析器，所幸已经有人编写完成，下载apache logfile parser code。使用sbt进行编译打包：
sbt compile sbt test sbt package
打包名称假设为alsapachelogparser.jar。
然后在linux命令行启动spark：
// this works $ master=local[4] spark_classpath=alsapachelogparser.jar ./bin/spark-shell
对于spark 0.9，有些方式并不起效：
// does not work $ master=local[4] add_jars=alsapachelogparser.jar ./bin/spark-shell // does not work spark> :cp alsapachelogparser.jar
上传成功后，在spark repl创建accesslogparser 实例：
import com.alvinalexander.accesslogparser._ val p = new accesslogparser
现在就可以像之前读取readme.cmd一样读取apache访问日志accesslog.small：
scala> val log = sc.textfile("accesslog.small")
14/03/09 11:25:23 info memorystore: ensurefreespace(32856) called with curmem=0, maxmem=309225062
14/03/09 11:25:23 info memorystore: block broadcast_0 stored as values to memory (estimated size 32.1 kb, free 294.9 mb)
log: org.apache.spark.rdd.rdd[string] = mappedrdd[1] at textfile at <console>:15
scala> log.count
(a lot of output here)
res0: long = 100000
分析apache日志
我们可以分析apache日志中404有多少个，创建方法如下：
def getstatuscode(line: option[accesslogrecord]) = {
line match {
case some(l) => l.httpstatuscode
case none => "0"
}
}
其中option[accesslogrecord]是分析器的返回值。
然后在spark命令行使用如下：
log.filter(line => getstatuscode(p.parserecord(line)) == "404").count
这个统计将返回httpstatuscode是404的行数。
深入挖掘
下面如果我们想知道哪些url是有问题的，比如url中有一个空格等导致404错误，显然需要下面步骤：
- 过滤出所有 404 记录
- 从每个404记录得到request字段(分析器请求的url字符串是否有空格等)
- 不要返回重复的记录
创建下面方法：
// get the `request` field from an access log record
def getrequest(rawaccesslogstring: string): option[string] = {
val accesslogrecordoption = p.parserecord(rawaccesslogstring)
accesslogrecordoption match {
case some(rec) => some(rec.request)
case none => none
}
}
将这些代码贴入spark repl，再运行如下代码：
log.filter(line => getstatuscode(p.parserecord(line)) == "404").map(getrequest(_)).count val recs = log.filter(line => getstatuscode(p.parserecord(line)) == "404").map(getrequest(_)) val distinctrecs = log.filter(line => getstatuscode(p.parserecord(line)) == "404").map(getrequest(_)).distinct distinctrecs.foreach(println)
总结
对于访问日志简单分析当然是要grep比较好，但是更复杂的查询就需要spark了。很难判断 spark在单个系统上的性能。这是因为spark是针对分布式系统大文件。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持移动技术网。
您可能感兴趣的文章:
如您对本文有疑问或者有任何想说的，请 点击进行留言回复，万千网友为您解惑！
网友评论