Linux下Hadoop 2.7.3如何安装搭建

技术Linux下Hadoop 2.7.3如何安装搭建这篇文章将为大家详细讲解有关Linux下Hadoop 2.7.3如何安装搭建,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Linux

本文将详细解释如何在Linux下安装和构建Hadoop2.7.3。边肖觉得挺实用的,分享给大家参考。希望你看完这篇文章能有所收获。

Linux Hadoop 2.7.3 安装搭建

Hadoop实现了分布式文件系统(HDFS)。

HDFS的特点是高容错性,旨在部署在低成本硬件上。此外,它提供了访问应用程序数据的高吞吐量,适用于大数据集的应用程序。HDFS放宽)POSIX满足POSIX的要求,并且可以流式访问文件系统中的数据。

Hadoop框架的核心设计是HDFS和MapReduce。HDFS为海量数据提供存储,而MapReduce为海量数据提供计算。

Hadoop解决哪些问题?

海量数据需要及时分析处理。

海量数据需要深入分析和挖掘。

数据需要长期存储。

00-1010磁盘IO被称为瓶颈,而不是CPU资源。

网络带宽是一种稀缺资源。

硬件故障已经成为影响稳定性的主要因素。

00-1010安装JAVA 1.8

下载:

http://www . Oracle.com/tech network/Java/javase/downloads/JDK 8-downloads-2133151 . html

Java环境安装配置/etc/profile:

export Java _ HOME=/usr/JDK/JDK 1 . 8 . 0 _ 112

exportJRE _ HOME=/usr/JDK/JDK 1 . 8 . 0 _ 112/JRE

export CLaSS=. $ JAVA _ HOME/lib/dt . jar : $ JAVA _ HOME/lib/tools . jar : $ JRE _ HOME/lib : $ CLaSS

导出路径=$ Java _ home/bin: $路径安装Hadoop2.7.3

下载:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

海量数据存储的问题:

1、修改hadoop 2.7.3/etc/hadoop/hadoop-env.sh 指定JAVA_HOME

# Javaimplementation use。

export Java _ HOME=/usr/lib/JVM/Java-1 . 8 . 0-openjdk-1 . 8 . 0 . 171-8 . b 10 . el6 _ 9 . x86 _ 642、修改hdfs的配置文件

配置

财产

namefs.defaultFS/name

value HDFS ://0 . 0 . 0 . 0:9000/value

/property

!-指定hadoop运行时生成的文件的存储路径-

财产

namehadoop.tmp.dir/name

价值/tmp/Hadoop/价值

/property

/3、启动配置

第一次启动必须先格式化。

/usr/Hadoop/bin/hdfsnamenode-启动hdfs的格式

/usr/Hadoop/sbin/start-DFS . sh用jps命令查看启动的Java进程

Linux下Hadoop2.7.3如何安装搭建

预览地址:http://127 . 0 . 0 . 1:50070/dfshhealth . html

Linux下Hadoop2.7.3如何安装搭建

4.停止

/usr/hadoop/sbin/stop-dfs.sh这篇关于“如何在Linux下安装和构建Hadoop2.7.3”的文章就分享到这里。希望

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/126944.html

(0)

相关推荐

  • 描写女子美貌的句子,形容女子气质智慧美貌的句子

    技术描写女子美貌的句子,形容女子气质智慧美貌的句子1、都说喜欢穿裙子的女人是很浪漫的描写女子美貌的句子,骨子里都是妩媚的,是温婉如水的。我不知道,我只知道我穿裙子是比穿裤子美丽的。只要是美丽,我就会喜欢。MM们,让我们的

    生活 2021年10月19日
  • ios sdk开发需要掌握什么(ios你在项目开发中遇到的难点)

    技术IOS开发之Target-Action模式有什么用小编给大家分享一下IOS开发之Target-Action模式有什么用,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧! 该模式主要是为了减少模块之

    攻略 2021年12月24日
  • 图联通性问题,Tarjan)整理

    技术图联通性问题,Tarjan)整理 图联通性问题(Tarjan)整理笑死,根本学不会笑死,根本学不会。(烂尾力
    Tarjan算法是用于处理图连通性相关的一类算法。
    1、强连通分量、双连通分量、割点与桥

    礼包 2021年11月20日
  • wcf是什么比例(wcf数据)

    技术WCF元数据是什么这篇文章主要讲解了“WCF元数据是什么”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“WCF元数据是什么”吧!WCF经过长时间的发展,使用它的人越来越

    攻略 2021年12月14日
  • 盐酸和碳酸钠反应的化学方程式,碳酸氢钠和盐酸反应的化学方程式

    技术盐酸和碳酸钠反应的化学方程式,碳酸氢钠和盐酸反应的化学方程式碳酸氢钠和盐酸的反应化学方程式盐酸和碳酸钠反应的化学方程式:NaHCO3+HCl=NaCl+CO2↑+H2O碳酸氢钠和盐酸的反应离子方程式:
    HCO3- +

    生活 2021年10月29日
  • react如何实现文件转base64

    技术react如何实现文件转base64小编给大家分享一下react如何实现文件转base64,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

    攻略 2021年11月26日