电脑单机游戏网

当前位置:龙8官网long8 > 电脑单机游戏网 > 0伪分布式配置详解

0伪分布式配置详解

来源:http://www.sketchydesignstudio.com 作者:龙8官网long8 时间:2019-10-05 15:59

  首先先不看理论,搭建起境况之后再看;

  搭建伪布满式是为着参照他事他说加以考察条件,调节和测验方便。

  计算机是win10,用的杜撰机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8;

  1.预备专业

  策画专业:把JDK和Hadoop安装包上传到linux系统(hadoop客商的根目录)

  系统景况:IP:192.168.80.99,

  linux用户:

  root/123456,hadoop/123456

  主机名:node

  把防火墙关闭,root实施:service iptables stop

  2.jdk安装

  1.在hadoop顾客的根目录,Jdk解压,(hadoop客商操作)tar -zxvf jdk-8u65-linux-x64.tar.gz 解压完毕后,在hadoop客户的根目录有贰个jdk1.8.0_65目录

  2.配置环境变量,须求修改/etc/profile文件(root客户操作)切到root客商,输入su命令 vi /etc/profile 进去编辑器后,输入i,步入vi编辑器的插入格局在profile文件最后加多

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

  编辑完毕后,按下esc退出插入情势输入:,那时在左下角有贰个冒号的标记

  q   退出不保留

  wq  保存退出

  q!   强制退出

  3.把修改的情状变量生效(hadoop顾客操作)

  执行source /etc/profile

  4.实行 java -version 查看版本,纵然成功验证jdk配置成功

  

  3.Hadoop 安装

   1.在hadoop客商的根目录,解压(hadoop顾客操作)

    tar -zxvf hadoop-2.6.0.tar.gz

   解压完毕在hadoop用户的根目录下有八个hadoop-2.6.0目录

  2.改变配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.sh(hadoop客商操作)

    export JAVA_HOME=/home/hadoop/jdk1.8.0_65

  3.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,增多(hadoop客户操作)

  

<property>

<name>fs.defaultFS</name>

<value>hdfs://node:9000</value>

</property>

  4.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,增多(hadoop客户操作)

  

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

  5.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml (hadoop客户操作),这么些文件未有,供给复制一份

    cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

    添加

<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

  6.改变配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,增多(hadoop客户操作)

<property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

  

  7.修改主机名称(root客户操作),重启生效

    vi /etc/sysconfig/network

  修改HOSTNAME的值为客商名

  8.修改/etc/hosts文件(root客户操作),增添: ip 主机名称

    192.168.44.199(用自个儿的ip,上边讲哪些收获)  node

  附:查看ip地址

  编辑-->虚构网络编辑器

图片 1

  net格局,选DHCP设置,获得ip地址起首

图片 2

  

 net设置,获得网关

图片 3

点侧面小Computer,选择 VPN Connections-->Configue VPN

图片 4

选中eth0,点有侧边edit

图片 5

挑选IP Settings ,依据本身的ip按图修改,Address便是您的ip地址,在开头ip地址和了结ip地址之间接选举二个就行

图片 6

  9.格式化HDFS,在hadoop解压目录下,施行如下命令:(hadoop客商操作)

    bin/hdfs namenode -format

  注意:格式化只好操作一回,借使因为某种原因,集群不可能用, 必要再一次格式化,须要把上一次格式化的新闻删除,在/tmp目录里实行 rm –rf *

  10.开发银行集群,在hadoop解压目录下,实施如下命令:(hadoop客户操作,截图用机后来改过,主机为gp)

    运转集群:sbin/start-all.sh   需求输入八回当前顾客的密码(通过铺排ssh互信化解,截图用机已经安排过ssh不用输密码)

图片 7

   运行后,在命令行输入jps有以下输出

图片 8

关门集群:sbin/stop-all.sh  必要输入四次当前顾客的密码(通过安插ssh互信化解,小编的同上)

 图片 9

  4.SSH互信配置(hadoop客户操作)
  rsa加密方法,公钥和私钥
  1.生成公钥和私钥
  在命令行实施ssh-keygen,然后回车,然后会指示输入内容,什么都不用写,一路回车
  在hadoop用户根目录下,有三个.ssh目录
  id_rsa 私钥
  id_rsa.pub 公钥
  known_hosts 通过SSH链接到本主机,都会在这里有记录
  2.把公钥给信赖的主机(本机)
  在命令行输入ssh-copy-id 主机名称
  ssh-copy-id hadoop
  复制的经过中需求输入信赖主机的密码
  3.验证,在命令行输入:ssh 信赖主机名称
  ssh hadoop
  若无提示输入密码,则配备成功

 图片 10

   至此,水到渠成。

本文由龙8官网long8发布于电脑单机游戏网,转载请注明出处:0伪分布式配置详解

关键词: