spark提交作业参数(spark提交作业的流程)

技术Spark提交作业的示例分析今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。初尝试cd software/spa

今天就跟大家聊聊有关火花提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

初尝试

cd软件/spark-3.0.1-bin-hadoop2.7

启动掌握。/sbin/start-master.sh

访问http://localhost:8080得到迷你包:///MacBook-Pro-2。本地:7077

启动工人。/bin/火花级。组织。阿帕奇。火花。部署。工人。工人火花://MacBook-Pro-2。本地33336。20070707007

访问http://localhost:8081可查看提交的作业

提交作业。/bin/spark-submit-master spark ://MacBook-Pro-2。当地时间:7077-早上上课。猫。火花测试/用户/晨猫/文档/Java-项目/火花-演示/输出/工件/火花_演示_ jar/火花-演示。冲突

packagemorning.cat

导入组织。阿帕奇。火花。sparkconf

导入组织。阿帕奇。火花。sparkcontext

导入组织。阿帕奇。火花。rdd。rdd

publicclassSparkTest{

publicationstatinvitmain(String[]参数){ 0

SparkConfsparkConf=newSparkConf().setAppName(‘SparkTest ‘).setMaster(‘ spark :///MacBook-Pro-2。本地:7077’);

SparkContextsparkContext=newSparkContext(sparkConf);

RDDStringrdd=sparkcontext。文本文件(‘/用户/晨间猫/文档/设置。XML ‘,1);

longlineCount=rdd。count();

系统。出去。println(行数);

}

}看完上述内容,你们对火花提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/148960.html

(0)

相关推荐

  • 全导数,什么是全导数,偏导数,方向导数

    技术全导数,什么是全导数,偏导数,方向导数偏导数全导数:函数在某点处延坐标轴正向,随着该自变量的变化,而引起的函数值的变化率.方向导数:函数在某点的任一方向上,随着该自变量的变化,而引起的函数值的变化率.因此它们的区别主

    生活 2021年10月27日
  • 三戒是哪三戒,柳宗元的\”三戒\”是什么?

    技术三戒是哪三戒,柳宗元的\三戒\是什么?柳宗元的《三戒》包括《临江之麋》三戒是哪三戒、《永某氏之鼠》和 《黔之驴》 这一组三篇寓言,是作者贬谪永州时所写。题名“三戒”,可能是取《论语》“君子有三戒”之意。文前的小序,已

    生活 2021年10月22日
  • ram架构和ram存储(嵌入式ram)

    技术如何进行嵌入式中常用内存RAM浅析本篇文章给大家分享的是有关如何进行嵌入式中常用内存RAM浅析,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。1.说明随着

    攻略 2021年12月18日
  • 微信小程序修改checkbox的样式代码怎么写

    技术微信小程序修改checkbox的样式代码怎么写这篇文章将为大家详细讲解有关微信小程序修改checkbox的样式代码怎么写,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。

    攻略 2021年11月16日
  • python如何爬取都挺好影视评论

    技术python如何爬取都挺好影视评论本篇文章给大家分享的是有关python如何爬取都挺好影视评论,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。前言最近《都

    攻略 2021年10月25日
  • 一次基于windowsxp–SLmail服务的缓冲区溢出实践

    技术一次基于windowsxp–SLmail服务的缓冲区溢出实践 一次基于windows_xp–SLmail服务的缓冲区溢出实践一次基于windows_xp–SLmail服务的缓冲区溢出实践
    20

    礼包 2021年11月1日