sqoop安装部署

sqoop安装部署

安装sqoop的前提是已经具备Java 语言(一种计算机语言，尤用于创建网站)语言（一种计算机语言，尤用于创建网站)和Hadoop环境。

下载地址：https://www .阿帕奇。org/dyn/closerLua/sqoop/

这里用的是：sqoop-1。4 .7 .bin _ _ Hadoop-2。6 .0 .焦油。地面零点

1. sqoop的安装及配置

(1) 上传安装包sqoop-1。4 .7 .bin _ _ Hadoop-2。6 .0 .焦油。地面零点到虚拟机中

(2) 进入上传的安装包目录，解压sqoop安装包到指定目录，如：

tar-zxvf sqoop-1。4 .7 .bin _ _ Hadoop-2。6 .0 .焦油。gz-C/opt/模块/

解压后，进入解压后的目录把名字修改为sqoop

mv sqoop-1。4 .7 .bin _ _ Hadoop-2。6 .0 sqoop

2. 设置sqoop环境变量

命令：

vi /root/bash_profile

加入下面内容：

导出SQOOP_HOME=/opt/module/sqoop

导出路径=$PATH:$SQOOP_HOME/bin

使设置立即生效：

源/根/。bash_profile

3. 修改配置文件

Sqoop的配置文件与大多数大数据框架类似，在sqoop根目录下的conf目录中。

进入sqoop下面的conf

命令：

cd /opt/module/sqoop/conf

(1) 重命名配置文件sqoop-env-template.sh

mv sqoop-env-模板。sh sqoop-env。嘘

(2) 修改配置文件sqoop-env.sh

命令：

vi sqoop-env.sh

修改一下内容：

导出HADOOP _ COMMON _ HOME=/opt/module/HADOOP//HADOOP安装目录

导出HADOOP _ MAPRED _ HOME=/opt/module/HADOOP//HADOOP安装目录

导出HIVE _ HOME=/opt/module/HIVE//HIVE安装目录

导出Zookeeper _ HOME=/opt/module/Zookeeper//Zookeeper安装目录

导出zoocfgdir=/opt/module/zookeeper//zookeeper安装目录

4. 拷贝JDBC驱动

上传jdbc驱动到/opt/软件目录中。

进入存放jdbc驱动的目录下，拷贝jdbc驱动到sqoop的解放运动目录下

CP MySQL-连接器-Java-5。1 .37 .jar/opt/module/sqoop/lib/

5. 验证Sqoop

进入sqoop安装目录，我们可以通过某一个命令来验证sqoop配置是否正确：

bin/sqoop帮助

6. 测试Sqoop是否能够成功连接数据库

进入sqoop安装目录，执行

bin/sqoop列表-数据库-连接JDBC : MySQL ://大师：3306/-用户名根密码111111

出现如下输出：

7. 通过sqoop将hive中的数据传输到MySQL数据库

7.1 hive中建表

(1)先在储备中创建表，数据类型和关系型数据库中的数据类型相对应

配置单元创建表学生

(id varchar(50)，姓名瓦尔查尔(50)，年龄int，学校瓦尔查尔(50)，班级varchar(50))

以","结尾的行格式分隔字段；

如图所示：

(2)准备数据，数据格式要和表结构相对应

在student.txt文件中加入以内容：

19308001,张山，20,111111,222222

19308002，lisi，21，333333，444444

19308003,吴王，20,555555,666666

19308004,刘璃，20,777777,888888

19308005,张飞，21,999999,111111

注：以什么为分隔符，就用什么符号，这里使用的是逗号为分隔符

然后上传到/opt/软件上

(3)将文本文件(文本文件)文件数据导入到储备中

将数据本地在路径“/opt/软件/学生”中。' txt '加载到学生表中；

# inpath里面是存放文本文件(文本文件)文件的路径

(4)查看表中数据

从学生中选择*;

如图所示：

7.2 MySQL中建表

登录关系型数据库

mysql -uroot -p

(1)创建一个数据库

关系型数据库创建数据库配置单元；

(2)使用储备数据库

关系型数据库使用储备

(3)数据库中创建表

关系型数据库创建表学生(id varchar(50)，姓名varchar(50)，年龄int，学校varchar(50)，班级varchar(50))；

如图所示：

(4)添加一条数据

关系型数据库插入学生价值观(' 19308009 '，'望马子'，' 22 '，' 666666 '，' 777777 ')；

如图所示：

7.3 sqoop将hive中的数据传输到MySQL中

进入/opt/module/sqoop/bin目录中执行命令

[root @ master bin]# sqoop export-connect JDBC : MySQL ://master :3306/hive-username root-password 111111-table student-num-mappers 1-export-dir/user/hive/warehouse/student-input-field-terminated-by '，'

//说明

//master:3306/hive hive是指关系型数据库中的数据库

-导出-目录/用户/蜂巢/仓库/学生导出数据的目录

-输入字段-以','结尾导出数据时，使用什么分隔符分割字段

餐桌学生导出到关系型数据库的哪张表

储备创建的表在hdfs上面的位置为：/用户/蜂巢/仓库/学生

如图所示：

成功后进入关系型数据库数据库中查询数据

如图所示：