安装
首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下：
$ sbt/sbt assembly
构建时间比较长。构建完成后，通过运行下面命令确证安装成功：
$ ./bin/spark-shell
scala> val textFile = sc.textFile("README.md") // 创建一个指向 README.md 引用
scala> textFile.count // 对这个文件内容行数进行计数
scala> textFile.first // 打印出第一行
Apache访问日志分析器
首先我们需要使用Scala编写一个对Apache访问日志的分析器，所幸已经有人编写完成，下载Apache logfile parser code。使用SBT进行编译打包：
sbt compile sbt test sbt package
打包名称假设为AlsApacheLogParser.jar。
然后在Linux命令行启动Spark：
// this works $ MASTER=local[4] SPARK_CLASSPATH=AlsApacheLogParser.jar ./bin/spark-shell
对于Spark 0.9，有些方式并不起效：
// does not work $ MASTER=local[4] ADD_JARS=AlsApacheLogParser.jar ./bin/spark-shell // does not work spark> :cp AlsApacheLogParser.jar
上传成功后，在Spark REPL创建AccessLogParser 实例：
import com.alvinalexander.accesslogparser._ val p = new AccessLogParser
现在就可以像之前读取readme.cmd一样读取apache访问日志accesslog.small：
scala> val log = sc.textFile("accesslog.small")
14/03/09 11:25:23 INFO MemoryStore: ensureFreeSpace(32856) called with curMem=0, maxMem=309225062
14/03/09 11:25:23 INFO MemoryStore: Block broadcast_0 stored as values to memory (estimated size 32.1 KB, free 294.9 MB)
log: org.apache.spark.rdd.RDD[String] = MappedRDD[1] at textFile at <console>:15
scala> log.count
(a lot of output here)
res0: Long = 100000
分析Apache日志
我们可以分析Apache日志中404有多少个，创建方法如下：
def getStatusCode(line: Option[AccessLogRecord]) = {
line match {
case Some(l) => l.httpStatusCode
case None => "0"
}
}
其中Option[AccessLogRecord]是分析器的返回值。
然后在Spark命令行使用如下：
log.filter(line => getStatusCode(p.parseRecord(line)) == "404").count
这个统计将返回httpStatusCode是404的行数。
深入挖掘
下面如果我们想知道哪些URL是有问题的，比如URL中有一个空格等导致404错误，显然需要下面步骤：
- 过滤出所有 404 记录
- 从每个404记录得到request字段(分析器请求的URL字符串是否有空格等)
- 不要返回重复的记录
创建下面方法：
// get the `request` field from an access log record
def getRequest(rawAccessLogString: String): Option[String] = {
val accessLogRecordOption = p.parseRecord(rawAccessLogString)
accessLogRecordOption match {
case Some(rec) => Some(rec.request)
case None => None
}
}
将这些代码贴入Spark REPL，再运行如下代码：
log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).count val recs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)) val distinctRecs = log.filter(line => getStatusCode(p.parseRecord(line)) == "404").map(getRequest(_)).distinct distinctRecs.foreach(println)
总结
对于访问日志简单分析当然是要grep比较好，但是更复杂的查询就需要Spark了。很难判断 Spark在单个系统上的性能。这是因为Spark是针对分布式系统大文件。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
P70系列延期，华为新旗舰将在下月发布
3月20日消息，近期博主@数码闲聊站 透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。
而博主@定焦数码 爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。
更新日志
- 杨千嬅《如果大家都拥有海》寰亚 [WAV+CUE][998M]
- 孟庭苇.1994-1990-1994钻石精选集2CD（2022环球XRCD限量版）【上华】【WAV+CUE】
- 群星.1998-华纳好情歌精选17首【华纳】【WAV+CUE】
- 张敬轩王菀之.2006-903.ID.CLUB拉阔演奏厅LIVE.2CD【环球】【WAV+CUE】
- 《欢欣森活》存档方法
- 《炉石传说》2024新赛季上线更新内容问题汇总
- 《南瓜恐慌》进不去游戏解决方法
- 杨烁《杨烁唱唐诗》2024Hi-Res[WAV分轨]
- 杨烁《杨烁唱唐诗》2024Hi-Res[WAV分轨]
- 童丽《民歌童丽（HQCD）》【WAV+CUE】
- 童丽《绝对收藏》2022头版限量编号[WAV+CUE][1G]
- 腾格尔《出走天堂》MQA-UHQCD限量版[低速原抓WAV+CUE][1G]
- 田震《时光音乐会》纯银CD[低速原抓WAV+CUE][1G]
- 炉石传说11月初最强登顶卡组合集 炉石传说11月初登顶卡组分享
- lol炼金龙魂详细属性是什么 2024炼金龙魂详细属性介绍