从品牌网站建设到网络营销策划,从策略到执行的一站式服务
一、客户端提交spark应用程序
创新互联公司是一家专注于成都网站设计、做网站与策划设计,海西网站建设哪家好?创新互联公司做网站,专注于网站建设十年,网设计领域的专业建站公司;建站业务涵盖:海西等地区。海西做网站价格咨询:18980820575
是指在spark集群之外的机器,提交spark应用程序到spark集群运行。
二、spark-submit提交程序语法
使用spark-submit工具提交Spark应用程序的语法:
./bin/spark-submit \
--class
--master
--deploy-mode
--conf
... # other options
[application-arguments]
--class 应用程序的入口类名;
--master spark 集群的url;
--deploy-mode 部署方式;
--conf 应用程序的sparkContext配置选项;
--application-jar 外部依赖;
--application-arguments 应用程序参数;
三、在客户端使用spark-submit提交spark应用程序时需要注意的事项
1)、客户端机器与spark集群必须互相知道,即相互ping得通;
2)、如果应用程序中用到了本地文件,那么集群中的worker机器都必须有该文件,否则会报找不到文件;
3)、windows客户端,如果应用程序中用到本地文件,那么无法提交到linux环境下的spark集群;
成都网站建设公司地址:成都市青羊区太升南路288号锦天国际A座10层 建设咨询028-86922220
成都快上网科技有限公司-四川网站建设设计公司 | 蜀ICP备19037934号 Copyright 2020,ALL Rights Reserved cdkjz.cn | 成都网站建设 | © Copyright 2020版权所有.
专家团队为您提供成都网站建设,成都网站设计,成都品牌网站设计,成都营销型网站制作等服务,成都建网站就找快上网! | 成都网站建设哪家好? | 网站建设地图