从品牌网站建设到网络营销策划,从策略到执行的一站式服务
本篇文章给大家分享的是有关Spark2.3.1使用技巧是什么样的,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。
成都创新互联公司专注于新田网站建设服务及定制,我们拥有丰富的企业做网站经验。 热诚为您提供新田营销型网站建设,新田网站制作、新田网页设计、新田网站官网定制、重庆小程序开发服务,打造新田网络公司原创品牌,更为您提供新田网站排名全网营销落地服务。
Spark 2.3.1
使用技巧Spark-SQL
读取JSON
文件时反射表头case class StudentInfo(id:Long,name:String,age:Int) val example = spark.read.json("/data/result.json").as(StudentInfo) example.show()
schema
在需要根据不同数据定义不同schema
val schemaInfo = "name age" val fields = schemaInfo.map(item=> item.split(" ") .map(item=>StructField(item,StringType,nullable=true)) val schema = StructType(fields) val rowRDD = peopleRDD.map(_.split(" ").map(attributes=>Row(attributes(0),attributes(1)) val peopleDF = spark.createDataFrame(rowRDD,schema) peopleDF.show()
Spark 2.3.1 on YARN
spark-submit
限制参数未生效因为在spark-submit
时配置的executor-memory 2g
等没有生效,后来问同事说他也碰到这样的问题,解决方案就是动态的分配executor
--conf spark.yarn.maxAppAttempts=1 --conf spark.dynamicAllocation.minExecutors=2 --conf spark.dynamicAllocation.maxExecutors=4 --conf spark.dynamicAllocation.initialExecutors=4
以上就是Spark2.3.1使用技巧是什么样的,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图