spark提交作业参数(spark提交作业的流程)

技术Spark提交作业的示例分析今天就跟大家聊聊有关Spark提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。初尝试cd software/spa

今天就跟大家聊聊有关火花提交作业的示例分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

初尝试

cd软件/spark-3.0.1-bin-hadoop2.7

启动掌握。/sbin/start-master.sh

访问http://localhost:8080得到迷你包:///MacBook-Pro-2。本地:7077

启动工人。/bin/火花级。组织。阿帕奇。火花。部署。工人。工人火花://MacBook-Pro-2。本地33336。20070707007

访问http://localhost:8081可查看提交的作业

提交作业。/bin/spark-submit-master spark ://MacBook-Pro-2。当地时间:7077-早上上课。猫。火花测试/用户/晨猫/文档/Java-项目/火花-演示/输出/工件/火花_演示_ jar/火花-演示。冲突

packagemorning.cat

导入组织。阿帕奇。火花。sparkconf

导入组织。阿帕奇。火花。sparkcontext

导入组织。阿帕奇。火花。rdd。rdd

publicclassSparkTest{

publicationstatinvitmain(String[]参数){ 0

SparkConfsparkConf=newSparkConf().setAppName('SparkTest ').setMaster(' spark :///MacBook-Pro-2。本地:7077’);

SparkContextsparkContext=newSparkContext(sparkConf);

RDDStringrdd=sparkcontext。文本文件('/用户/晨间猫/文档/设置。XML ',1);

longlineCount=rdd。count();

系统。出去。println(行数);

}

}看完上述内容,你们对火花提交作业的示例分析有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注行业资讯频道,感谢大家的支持。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/148960.html

(0)

相关推荐

  • 解决texlive化学式转换镜像经常偶发性进程堆积导致卡顿问题

    技术解决texlive化学式转换镜像经常偶发性进程堆积导致卡顿问题 解决texlive化学式转换镜像经常偶发性进程堆积导致卡顿问题前言
    之前在 使用Python定时清理运行超时的pdflatex僵尸进程

    礼包 2021年12月2日
  • 为什么Java中要求超大整数禁止使用Long类型返回

    技术为什么Java中要求超大整数禁止使用Long类型返回本篇内容主要讲解“为什么Java中要求超大整数禁止使用Long类型返回”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“为

    攻略 2021年10月28日
  • MySQL中CURRENT_TIMESTAMP的使用方式是什么

    技术MySQL中CURRENT_TIMESTAMP的使用方式是什么这篇文章主要讲解了“MySQL中CURRENT_TIMESTAMP的使用方式是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢

    攻略 2021年11月25日
  • python多继承构造方法(python类的继承)

    技术Jython中单继承和多继承的示例分析这篇文章主要介绍Jython中单继承和多继承的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!Jython的继承类继承的能力是面向对象编程的基础。J

    攻略 2021年12月17日
  • jquery ajax有哪些优势

    技术jquery ajax有哪些优势本篇内容主要讲解“jquery ajax有哪些优势”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“jquery ajax有哪些优势”吧!

    攻略 2021年11月16日
  • MySQL Explain的作用是什么

    技术MySQL Explain的作用是什么本篇内容介绍了“MySQL Explain的作用是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔

    攻略 2021年10月20日