安装
首先需要安装好Java和Scala,然后下载Spark安装,确保PATH 和JAVA_HOME 已经设置,然后需要使用Scala的SBT 构建Spark如下:
$ sbt/sbt assembly
构建时间比较长。构建完成后,通过运行下面命令确证安装成功:
$ ./bin/spark-shell
scala> val textFile = sc.textFile("README.md") // 创建一个指向 README.md 引用 scala> textFile.count // 对这个文件内容行数进行计数 scala> textFile.first // 打印出第一行
Apache访问日志分析器
首先我们需要使用Scala编写一个对Apache访问日志的分析器,所幸已经有人编写完成,下载Apache logfile parser code。使用SBT进行编译打包:
sbt compile sbt test sbt package
打包名称假设为AlsApacheLogParser.jar。
然后在Linux命令行启动Spark:
// this works $ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell
对于Spark 0.9,有些方式并不起效:
// does not work $ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell // does not work spark> :cp AlsApacheLogParser.jar
上传成功后,在Spark REPL创建AccessLogParser 实例:
import com.alvinalexander.accesslogparser._ val p = new AccessLogParser
现在就可以像之前读取readme.cmd一样读取apache访问日志accesslog.small:
scala> val log = sc.textFile("accesslog.small") 14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=309225062 14/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB) log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:15 scala> log.count (a lot of output here) res0: Long = 100000
分析Apache日志
我们可以分析Apache日志中404有多少个,创建方法如下:
def getStatusCode(line: Option[AccessLogRecord]) = { line match { case Some(l) => l.httpStatusCode case None => "0" } }
其中Option[AccessLogRecord]是分析器的返回值。
然后在Spark命令行使用如下:
log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count
这个统计将返回httpStatusCode是404的行数。
深入挖掘
下面如果我们想知道哪些URL是有问题的,比如URL中有一个空格等导致404错误,显然需要下面步骤:
- 过滤出所有 404 记录
- 从每个404记录得到request字段(分析器请求的URL字符串是否有空格等)
- 不要返回重复的记录
创建下面方法:
// get the `request` field from an access log record def getRequest(rawAccessLogString: String): Option[String] = { val accessLogRecordOption = p.parseRecord(rawAccessLogString) accessLogRecordOption match { case Some(rec) => Some(rec.request) case None => None } }
将这些代码贴入Spark REPL,再运行如下代码:
log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).count val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)) val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct distinctRecs.foreach(println)
总结
对于访问日志简单分析当然是要grep比较好,但是更复杂的查询就需要Spark了。很难判断 Spark在单个系统上的性能。这是因为Spark是针对分布式系统大文件。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 《真三国无双:起源》新情报将于9月26日公开,实机演示亮相!
- 黑神话悟空上品鼠禁卫精魄获取方法一览|上品鼠禁卫精魄收集攻略
- 优美的旋律至真的情怀《品茶轻音乐·极品典藏Vol.1CD1》[WAV+CUE]
- 曾嵘《峥嵘岁月DSD(试音碟)》WAV+CUE
- 小提琴天碟AlfredoCampoli坎波利-贝多芬D大调小提琴协奏曲与普罗米修斯作品选FLAC
- 博主称本周游戏业内动荡无比:高价PS5 Pro、Xbox裁员等
- 米哈游也搞AI?米哈游AI大模型Glossa完成备案
- G胖变G瘦后:玩家担心其健康状况:如果他出事 游戏业将发生巨变
- 群星.1995-SUMMER.PASSION.REMIX【宝丽金】【WAV+CUE】
- 王栎鑫.2008-天生一对(EP)【种子音乐】【WAV+CUE】
- 曾淑勤.1993-金选集【点将】【WAV+CUE】
- 《命运2》新枪涉嫌抄袭Bungie响应正在调查
- 《刺客信条:影》引发争议日本预购表现低迷
- 黑神话悟空上品狸侍长精魄获取方法一览|上品狸侍长精魄收集攻略
- 大自然环保音乐系列《风花雪月》4CD/DTS[WAV分轨]