资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

怎么实现spark的官网原生监控整理

这篇文章给大家介绍怎么实现spark的官网原生监控整理,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

我们提供的服务有:成都网站设计、成都做网站、微信公众号开发、网站优化、网站认证、青龙ssl等。为数千家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的青龙网站制作公司

一.官网解析

1.官网位置截图Monitoring
怎么实现spark的官网原生监控整理
2.解释

对于默认的webui 你访问完就不可以在看到了
这样你不可能知道之前发生什么事情
你可以通过配置在界面上显示

3.spark.eventLog.enabled 打开

你要把spark.eventLog.enabled to true before starting the application.  这个打开
这个配置在spark-default.conf     spark.eventLog.enabled           true

4.官网体现
怎么实现spark的官网原生监控整理
5.配置文件体现

配置文件体现,配置成hdfs的
这个只用来存取,供页面使用

怎么实现spark的官网原生监控整理

二.配置日志位置的读取

1.读取配置

读取这个存储日志文件的位置要在spark.env.sh配置
"-Dspark.history.fs.logDirectory=hdfs://s201:8020/directory -Dspark.history.ui.port=7777"
这个是页面可以取这个存储日志下去读,还可以设置端口

怎么实现spark的官网原生监控整理
2.读取顺序

看最后一项SPARK_HISTORY_OPTS
后面的这些参数要配置到SPARK_HISTORY_OPTS=(配置下面参数)  都在psrk-env.sh

怎么实现spark的官网原生监控整理
怎么实现spark的官网原生监控整理
3.注意要设置时间间隔和清理时间参数

这三项是防止不清楚日志hdfs存满
一个是把自动清除开关打开,隔多久清理一次,清理一次要清理多久的数据

怎么实现spark的官网原生监控整理

4.启动

最后要启动start-history-server.sh
访问你的启动主机的ip:你设置的端口号

5.结果展示
怎么实现spark的官网原生监控整理
6.注意事项

Incomplete 产生原因
一个是正在运行,另一个是没有sc.stop情况下
所以一定要sc.stop

怎么实现spark的官网原生监控整理

三.第二种监控方式REST风格

1.官网
怎么实现spark的官网原生监控整理
2.访问方式类似

你可以自己定制,改变,拿到json
结果  ,访问路径 http://s201:7777/api/v1/applications

3.结果展示
怎么实现spark的官网原生监控整理

关于怎么实现spark的官网原生监控整理就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


本文标题:怎么实现spark的官网原生监控整理
网页链接:http://www.cdkjz.cn/article/jccpio.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220