SPARK2和Phoenix集成的方法是什么？

本篇内容主要讲解“SPARK2与凤凰整合的方法是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“SPARK2与凤凰整合的方法是什么”吧！

1、环境说明

操作系统CentOS Linux发行版7.4.1708(核心)安巴里2。6 .xhdp 2。6 .3 .0迷你图2。xphoenix 4。10 .0-糖化血红蛋白-1.2

2、条件

糖化血红蛋白安装完成

凤凰已经启用安巴里界面如下所示：

火花2安装完成

3、Spark2 与 Phoenix整合

步骤：

进入安巴里迷你图2配置界面

找到自定义迷你图2-默认值并添加如下配置项：

火花。司机。额外类路径=/usr/HDP/当前/凤凰城-客户端/凤凰城-4。10 .0-HbASe-1.2-客户端。冲突

火花。执行者。额外类路径=/usr/HDP/当前/凤凰城-客户端/凤凰城-4。10 .0-HbASe-1.2-客户端。冲突

标记

4、Yarn HA 问题

如果配置了纱线透明质酸，则需要修改纱线透明质酸配置，否则火花提交提交任务会报如下错误：

线程“主”Java。朗。illegalaccesserror :中出现异常，试图访问方法组织。阿帕奇。Hadoop。纱线。客户。configuredrmfailperxyprovider。getproxinternal()/Ljava/lang/Object；来自班级组织。阿帕奇。Hadoop。纱线。客户。RequesthedgingrmfailproxyProvider

在。组织。阿帕奇。Hadoop。纱线。客户。RequesthedgingrmfailproxyProvider。init(RequestHedgingrmfailproxyProvider。Java 336075)

在。组织。阿帕奇。Hadoop。院子。客户。rmproxy。creatermfailproxyprovider(RM proxy。Java :163)

在。组织。阿帕奇。Hadoop。院子。客户。rmproxy。creatermproxy(RM proxy。Java :94)

在。组织。阿帕奇。Hadoop。纱线。clientrmproxy。creatermproxy(client rmproxy。Java :72)

在。组织。阿帕奇。Hadoop。院子。客户。API。impl。yarncleinempl。服务启动(yarncleinempl。Java :187)

在组织。阿帕奇。Hadoop。ServiCe。抽象服务。start(抽象服务。Java :193)

在组织。阿帕奇。火花。部署。纱线。客户。提交申请(客户端。Scala :153)

在组织。阿帕奇。火花。调度程序。集群。yarclientschedulerback。start(yarclientschedulerback。Scala :56)

在组织。阿帕奇。火花。调度程序。Taskschedulerimpl。start(Taskschedulerimpl。Scala 3360173)

在组织。阿帕奇。火花。sparkcontext。init(sparkcontext。Scala :509)

在组织。阿帕奇。火花。sparkcontext $ .getOrCreate(sparkcontext。Scala :2516)

在。组织。阿帕奇。火花。SQL。sparksession $ Builder $ $ anon fun $ 7。应用(迷你会话。Scala :922)

在。组织。阿帕奇。火花。SQL。sparksession $ Builder $ $ anon fun $ 7。应用(迷你会话。Scala :914)

在斯卡拉。选项。getOrElse(选项。scala:121)

在组织。阿帕奇。火花。SQL。迷你会话$ Builder。getorcreate(sparksession。Scala 3360914)

at cn.spark.sxt.SparkOnPhoenix$main(sparkonphoenix。Scala :13)

在cn。火花。sxt。sparkonphoenix。main(sparkonphoenix。Scala)

本地方法

在太阳。反思。nativemethodcassorimpl。invoke(nativemethodcastorimpl。Java :62)

在太阳。反思。delegatingmethodacesorimpl。invoke(delegatingmethodacesorimpl。Java :43)

at java.lang.reflect.Method.i

修改纱线透明质酸配置：

将原来的配置：

纱线。客户。故障转移-提供商-提供商=组织。阿帕奇。Hadoop。纱线。客户。requesthedgingrmfailproxyprovider

改为现在的配置：

纱线。客户。故障转移-提供商-提供商=组织。阿帕奇。Hadoop。纱线。客户。configuredrmfailperxyprovider

如果没有配置纱线透明质酸，则不需要进行此步配置

到此，相信大家对“SPARK2与凤凰整合的方法是什么”有了更深的了解，不妨来实际操作一番吧！这里是网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！