ca88亚洲城网站jdk的装置在仿制三台机器的时候可以提前安装, 要设置hadoop相关软件

自我赶上的是因为namenode二次format时造成VERSION中的clusterID 争辩难点

Hadoop集群搭建安装进度(三)(图文详解—尽情点击!!!)

Hadoop集群搭建安装进程(三)(图文详解—尽情点击!!!)

 [hadoop@kencentos01 hadoop]$ scp -r /opt/hadoop
hadoop@kencentos03:/opt

hadoop-env.sh中安顿:(要是文件内容太多,可以在进入文件后一般形式下使用”/”加上想要查询的情节即可)

# The java implementation to use.

export
JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

(青色为新增进的情节,其余的代码是文件中原来的)

# The jsvc implementation to use. Jsvc is
required to run secure datanodes

# that bind to privileged ports to
provide authentication of data transfer

# protocol.  Jsvc is not required if SASL
is configured for authentication of

# data transfer protocol using
non-privileged ports.

#export JSVC_HOME=${JSVC_HOME}

ca88亚洲城网站 1

 

保存后,使刚刚编辑的公文生效:

ca88亚洲城网站 2

在结尾添加:

在profile文件末尾添加以下代码:

 ca88亚洲城网站 3

其中hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量:

source
/etc/profile

 访问50070端口
,我那里是http://192.168.52.128:50070

yarn-env.sh中配置:**(借使文件内容太多,能够在进入文件后一般形式下行使”/”加上想要查询的情节即可)**

# User for YARN daemons

export
HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

# resolve links – $0 may be a
softlink

export
YARN_CONF_DIR=”${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}”

# some Java parameters

export
JAVA_HOME=/opt/java/jdk1.7.0_72

(黄色为新加上的内容,其余的代码是文件中原本的)

ca88亚洲城网站 4

 

export
PATH=$PATH:$HADOOP_HOME/sbin(加上那几个是为了使在底下启动hadoop时不肯定必须在hadoop目录下执行命令)

 [hadoop@kencentos01 hadoop]$ scp -r /opt/hadoop
hadoop@kencentos02:/opt

export
PATH=$PATH:$HADOOP_HOME/sbin(加上这些是为了使在底下启动hadoop时不必然必须在hadoop目录下执行命令)

下载hadoop包,放在/usr/hadoop目录下,解压hadoop

$ start-yarn.sh

source
/etc/profile

器都通过(source
/etc/profile)命令使之生效

缓解方式:将dfs对应的data,tmp目录下文件都剔除,重新format下

逐一文件的修改如下所示:

安装地方自定,例如设置在/usr/hadoop目录上面

$HADOOP_HOME/etc/hadoop/hadoop-env.sh

export
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

yarn-env.sh中配置:**(就算文件内容太多,能够在进入文件后一般情势下利用”/”加上想要查询的情节即可)**

# User for YARN daemons

export
HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

# resolve links – $0 may be a
softlink

export
YARN_CONF_DIR=”${YARN_CONF_DIR:-$HADOOP_YARN_HOME/conf}”

# some Java parameters

export
JAVA_HOME=/opt/java/jdk1.7.0_72

(灰色为新增进的内容,其他的代码是文本中原来的)

ca88亚洲城网站 5

 

1、为了统一,大家将hadoop作为程序软件安装在opt目录 下

export PATH=$PATH:$HADOOP_HOME/bin

vi /etc/profile

13、查看节点是不是健康

安装地方自定,例如设置在/usr/hadoop目录上边

内部hadoop-env.sh和yarn-env.sh里面都要添加jdk的环境变量:

(不是hadoop的什么命令,是java的命令,所以平素实施就行了)

下载JDK(本次安装使用的本子是jdk1.8.0_73)

tar -zxvf
/usr/hadoop/hadoop-2.6.4.tar.gz

ca88亚洲城网站 6

一、JDK的安装

2、配置环境变量:

3、配置hadoop环境变量 /etc/profile

export HADOOP_HOME=/usr/
hadoop-2.6.4

hdfs-site.xml中配置:

</configuration> 

  <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>master:9001</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/usr/dfs/name</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/usr/dfs/data</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>2</value>

  </property>

  <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

  </property>

  <property>

    <name>dfs.permissions</name>

    <value>false</value>

  </property>

  <property>

    <name>dfs.web.ugi</name>

    <value>supergroup</value>

  </property>

</configuration>

ca88亚洲城网站 7

 

方法一: /hadoop/hadoop-2.7.3/sbin/start-all.sh

vi /etc/profile

在usr下边生成hadoop-2.6.4目录

启动ResourceManager 和 NodeManager 守护进程

下载hadoop包,放在/usr/hadoop目录下,解压hadoop

hadoop-env.sh中配置:(假使文件内容太多,可以在进入文件后一般方式下利用”/”加上想要查询的内容即可)

# The java implementation to use.

export
JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

(藏黄色为新加上的内容,其余的代码是文件中原本的)

# The jsvc implementation to use. Jsvc is
required to run secure datanodes

# that bind to privileged ports to
provide authentication of data transfer

# protocol.  Jsvc is not required if SASL
is configured for authentication of

# data transfer protocol using
non-privileged ports.

#export JSVC_HOME=${JSVC_HOME}

ca88亚洲城网站 8

 

启动NameNode和DataNode

mapred-site.xml中配置:

export PATH=$PATH:$HADOOP_HOME/bin

方法二:

hdfs-site.xml中配置:

</configuration> 

  <property>

    <name>dfs.namenode.secondary.http-address</name>

    <value>master:9001</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/usr/dfs/name</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/usr/dfs/data</value>

  </property>

  <property>

    <name>dfs.replication</name>

    <value>2</value>

  </property>

  <property>

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

  </property>

  <property>

    <name>dfs.permissions</name>

    <value>false</value>

  </property>

  <property>

    <name>dfs.web.ugi</name>

    <value>supergroup</value>

  </property>

</configuration>

ca88亚洲城网站 9

 

依次文件的改动如下所示:

 

export
JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

 

6、配置core-site.xml

$HADOOP_HOME/etc/hadoop/core-site.xml

source
/etc/profile

ca88亚洲城网站 10

ca88亚洲城网站 11

2、配置环境变量:

export HADOOP_HOME=/usr/
hadoop-2.6.4

$stop-dfs.sh

export PATH=$JAVA_HOME/bin:$PATH

mapred-site.xml中配置:

注:上边是使用系统自带的java版本,考虑到所需包的完整性,可以卸载掉后自己重新下载安装

 

内需配置的文书的地方为/hadoop-2.6.4/etc/hadoop,须求修改的有以下多少个公文:

初步守护进度

hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves

1、解压hadoop-2.6.4.tar.gz安装包

安装Hadoop前置,当前是要准备好基础运行条件,这里大家准备了三台虚机,详见上篇博文

 

一、JDK的安装

ca88亚洲城网站 12

jdk的装置在仿制三台机器的时候可以提前安装,通过scp使安装文件和条件配置(/etc/profile)都拷贝过去,并使三台机

(先将mapred-site.xml.template使用命令拷贝出一个命名为mapred-site.xml的文件,

一、       准备上传工具

在usr上边生成hadoop-2.6.4目录

export
JAVA_HOME=/usr/tools/jdk/jdk1.8.0_73

格式化namenode

内需配置的文本的岗位为/hadoop-2.6.4/etc/hadoop,需求修改的有以下多少个文本:

hadoop-env.sh、yarn-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves

#export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64

 

5、指定从服务器

更改$HADOOP_HOME/etc/hadoop/slaves

增加两个从服务器的主机名,这里是kencentos02,03

二、安装Hadoop

vi /etc/profile

自然前提是提前本地下载好相应版本安装包,那里版本是2.7.3

tar -zxvf
/usr/hadoop/hadoop-2.6.4.tar.gz

source
/etc/profile

 

 

export
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

9、配置 yarn-site.xml

ca88亚洲城网站 13

core-site.xml中配置:**(借使文件内容太多,可以在进入文件后一般方式下行使”/”加上想要查询的内容即可)**

<configuration>

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:9000</value>

  </property>

  <property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>file:/usr/temp</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

  </property>

</configuration>

ca88亚洲城网站 14

 

ca88亚洲城网站 15

布署环境变量, 编辑profile文件:

二、安装Hadoop

初始节点还足以用上面发号施令

解压JDK : tar -zxvf
/usr/tools/jdk-7u72-linux-x64.gz

ca88亚洲城网站 16

ca88亚洲城网站 17

vi /etc/profile

安装地点都在同等地点(/usr/tools/jdk1.8.0_73)

ca88亚洲城网站 18

yarn-site.xml中配置

ca88亚洲城网站 19

yarn-site.xml中配置

ca88亚洲城网站 20

ca88亚洲城网站 21

1、解压hadoop-2.6.4.tar.gz安装包

配备环境变量, 编辑profile文件:

12.启动hadoop

测试是还是不是安装成功:java –version

解压JDK : tar -zxvf
/usr/tools/jdk-7u72-linux-x64.gz

给hadoop用户 opt目录操作权限 chmod –R 777 /opt

 3、配置Hadoop文件

export JRE_HOME=$JAVA_HOME/jre

11、分别更改centos02,03上的环境变量

 

 3、配置Hadoop文件

安装rz

core-site.xml中配置:**(借使文件内容太多,可以在进入文件后一般方式下使用”/”加上想要查询的内容即可)**

<configuration>

  <property>

    <name>fs.defaultFS</name>

    <value>hdfs://master:9000</value>

  </property>

  <property>

    <name>io.file.buffer.size</name>

    <value>131072</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>file:/usr/temp</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.hosts</name>

    <value>*</value>

  </property>

  <property>

    <name>hadoop.proxyuser.root.groups</name>

    <value>*</value>

  </property>

</configuration>

ca88亚洲城网站 22

 

测试是还是不是安装成功:java –version

#export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64

slaves中配置:

sunshine

sunshineMin

sunshineMax

ca88亚洲城网站 23

4、拷贝hadoop安装文件到子节点

主节点上执行:

scp -r /usr/hadoop-2.6.4
root@sunshineMin:/usr

scp -r /usr/hadoop-2.6.4
root@sunshineMax:/usr

5、拷贝profile到子节点

主节点上举行:

scp
/etc/profile root@sunshineMin:/etc/

scp
/etc/profile root@sunshineMax:/etc/

在多少个子节点上各自使新的profile生效:

source
/etc/profile

6、格式化主节点的NameNode

主节点上跻身hadoop安装目录下

然后实施:

./bin/hadoop namenode –format

提醒:successfully formatted表示格式化成功

7、启动hadoop

主节点上在hadoop目录下举行:

./sbin/start-all.sh

主节点上jps进度有:

NameNode

SecondaryNameNode

ResourceManager

 ca88亚洲城网站 24

种种子节点上的jps进程有:

DataNode

NodeManager

ca88亚洲城网站 25

若果如此表示hadoop集群配置成功!

假设对你有赞助,请予以帮衬!!!

export PATH=$JAVA_HOME/bin:$PATH

 安装上传下载工具包rz及sz,查看下当前电话上是否有安装包

ca88亚洲城网站 26

在结尾添加:

ca88亚洲城网站 27

export JRE_HOME=$JAVA_HOME/jre

 

安装好后,在Xshell端输入rz,在弹出窗口中精选上传文件:hadoop安装包hadoop-2.7.3.tar.gz

(先将mapred-site.xml.template使用命令拷贝出一个命名为mapred-site.xml的文件,

在sunshine主机上安装hadoop

ca88亚洲城网站 28

封存后使新编制的profile生效:

slaves中配置:

sunshine

sunshineMin

sunshineMax

ca88亚洲城网站 29

4、拷贝hadoop安装文件到子节点

主节点上举行:

scp -r /usr/hadoop-2.6.4
root@sunshineMin:/usr

scp -r /usr/hadoop-2.6.4
root@sunshineMax:/usr

5、拷贝profile到子节点

主节点上实施:

scp
/etc/profile root@sunshineMin:/etc/

scp
/etc/profile root@sunshineMax:/etc/

在四个子节点上个别使新的profile生效:

source
/etc/profile

6、格式化主节点的NameNode

主节点上进入hadoop安装目录下

然后实施:

./bin/hadoop namenode –format

提醒:successfully formatted表示格式化成功

7、启动hadoop

主节点上在hadoop目录下实施:

./sbin/start-all.sh

主节点上jps进程有:

NameNode

SecondaryNameNode

ResourceManager

 ca88亚洲城网站 30

各种子节点上的jps进度有:

DataNode

NodeManager

ca88亚洲城网站 31

若是这么表示hadoop集群配置成功!

假诺对您有襄助,请予以扶助!!!

ca88亚洲城网站 32

在sunshine主机上设置hadoop

jdk的设置在仿制三台机器的时候能够提前设置,通过scp使安装文件和条件配置(/etc/profile)都拷贝过去,并使三台机

7、 配置hdfs-site.xml

在profile文件末尾添加以下代码:

使用cp  **mapred-site.xml.template mapred-site.xml)**

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

  </property>

</configuration>

ca88亚洲城网站 33

 

hdfs namenode –format

ca88亚洲城网站 34

 

在安装目录下,新建dfs与tmp目录

安装地方都在同等地点(/usr/tools/jdk1.8.0_73)

封存后使新编制的profile生效:

ca88亚洲城网站 35

保存后,使刚刚编辑的公文生效:

 

hadoop-daemon.sh start namenode

器都通过(source
/etc/profile)命令使之生效

下载JDK(这次安装使用的本子是jdk1.8.0_73)

4、修改Hadoop中java 环境变量

使用cp  **mapred-site.xml.template mapred-site.xml)**

<configuration>

  <property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

  </property>

</configuration>

ca88亚洲城网站 36

 

ca88亚洲城网站 37

ca88亚洲城网站 38

布署达成后,让其立刻生效

若不可以健康展现,则可能是节点未正常启动

 输入yum provides */rz

悬停命令

Hadoop-daemon.sh start datanode

 要设置hadoop相关软件 ,须求将相应的安装包上传来那一个虚机服务器(vm
centos)上

执行jps命令

 2、检查与布局java环境变量与路径,若已配好,那步可略

 

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

$HADOOP_HOME/etc/hadoop/yarn-env.sh

ca88亚洲城网站 39

/hadoop/hadoop-2.7.3/sbin/stop-all.sh

10、复制hadoop及有关配置文件到从服务器上

 ca88亚洲城网站 40

再起步服务

ca88亚洲城网站 41

ca88亚洲城网站 42

8、配置 mapred-site.xml

$stop-yarn.sh

安装hadoop

二、          安装hadoop

jps 可以查看 hadoop 上 当前运行的java 进度

$ start-dfs.sh

相关文章