spark提交作业参数(spark提交作业的流程)

技术Spark提交作业的示例分析今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。初尝试cd software/spa

今天就跟大家聊聊有关火花提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

初尝试

cd软件/spark-3.0.1-bin-hadoop2.7

启动掌握。/sbin/start-master.sh

访问http://localhost:8080得到迷你包:///MacBook-Pro-2。本地:7077

启动工人。/bin/火花级。组织。阿帕奇。火花。部署。工人。工人火花://MacBook-Pro-2。本地33336。20070707007

访问http://localhost:8081可查看提交的作业

提交作业。/bin/spark-submit-master spark ://MacBook-Pro-2。当地时间:7077-早上上课。猫。火花测试/用户/晨猫/文档/Java-项目/火花-演示/输出/工件/火花_演示_ jar/火花-演示。冲突

packagemorning.cat

导入组织。阿帕奇。火花。sparkconf

导入组织。阿帕奇。火花。sparkcontext

导入组织。阿帕奇。火花。rdd。rdd

publicclassSparkTest{

publicationstatinvitmain(String[]参数){ 0

SparkConfsparkConf=newSparkConf().setAppName('SparkTest ').setMaster(' spark :///MacBook-Pro-2。本地:7077’);

SparkContextsparkContext=newSparkContext(sparkConf);

RDDStringrdd=sparkcontext。文本文件('/用户/晨间猫/文档/设置。XML ',1);

longlineCount=rdd。count();

系统。出去。println(行数);

}

}看完上述内容,你们对火花提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/148960.html

(0)

相关推荐

  • 如何理解Unicode与JavaScript

    技术如何理解Unicode与JavaScript如何理解Unicode与JavaScript,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。上个月,我做了一次

    攻略 2021年11月17日
  • mysql5.7无法开启二进制日志的示例分析

    技术mysql5.7无法开启二进制日志的示例分析小编给大家分享一下mysql5.7无法开启二进制日志的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起

    攻略 2021年11月6日
  • MySQL常用拼接语句有哪些

    技术MySQL常用拼接语句有哪些这篇文章给大家分享的是有关MySQL常用拼接语句有哪些的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1.拼接查询所有用户SELECT DISTINCT

    攻略 2021年10月30日
  • 数据库中常见的术语是什么

    技术数据库中常见的术语是什么这期内容当中小编将会给大家带来有关数据库中常见的术语是什么,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。数据库中常见的术语:字段使用过Office中的Exc

    攻略 2021年11月30日
  • 一学期是一年还是半年,一学年、是指一学期、还是一年

    技术一学期是一年还是半年,一学年、是指一学期、还是一年一学年是指一年一学期是一年还是半年。 一学年即从当年9月1日到次年的8月31日,暑假是学年分界线,一学年分为2个学期,寒假是学期分界线。 学校的教学年度。一般从秋季始

    生活 2021年10月29日
  • html5新增标签是什么(html5视频标签是哪个)

    技术html5视频标签是哪个小编给大家分享一下html5视频标签是哪个,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

    攻略 2021年12月17日