资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Linux如何安装Hadoop和Hbase

这篇文章主要介绍了Linux如何安装Hadoop和Hbase,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站制作、成都网站设计、外贸营销网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的鲁甸网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

三台CentOS7主机

  • 192.168.122.101 hdfs1

  • 192.168.122.102 hdfs2

  • 192.168.122.103 hdfs3

其中hdfs1为主节点,其他为从节点。

安装配置三台都是一样的,做ssh免密码验证,如果只要在主节点hdfs1操作,只做hdfs1到其他节点信任即可。

如果三台都互相信任,这样子在哪台都可以操作是一样的。

修改内核参数

  1. vim /etc/sysctl.conf 


net.ipv4.tcp_syn_retries = 1 net.ipv4.tcp_synack_retries = 1 net.ipv4.tcp_keepalive_time = 600 net.ipv4.tcp_keepalive_probes = 3 net.ipv4.tcp_keepalive_intvl =15 net.ipv4.tcp_retries2 = 5 net.ipv4.tcp_fin_timeout = 2 net.ipv4.tcp_max_tw_buckets = 65536 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_max_orphans = 32768 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_wmem = 8192 131072 16777216 net.ipv4.tcp_rmem = 32768 131072 16777216 net.ipv4.tcp_mem = 786432 1048576 1572864 net.ipv4.ip_local_port_range = 1024 65000 net.ipv4.ip_conntrack_max = 65536 net.ipv4.netfilter.ip_conntrack_max=65536 net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180 net.core.somaxconn = 16384 net.core.netdev_max_backlog = 16384 vm.max_map_count = 262144

修改句柄限制

  1. vim /etc/security/limits.conf 


* soft noproc 655360 * hard noproc 655360 * soft nofile 655360 * hard nofile 655360

设置主机名解析

在不同的节点,设置对应的主机名

hostnamectl set-hostname hdfs1

 Linux如何安装Hadoop和Hbase

添加hosts记录,也可以使用DNS进行解析,比较灵活。

  1. vim /etc/hosts 


192.168.122.101   hdfs1 192.168.122.102   hdfs2 192.168.122.103   hdfs3

创建用户和目录

useradd  hadoop  passwd hadoop mkdir -p  /apps/ mkdir -pv /data/hdfs/hadoop mkdir -pv /data/hdfs/hbase chown hadoop.hadoop  /data/hadoop   /data/hbase

设置ssh免密码

su - hadoop  ssh-keygen  ssh-copy-id hadoop@hdfs1  ssh-copy-id hadoop@hdfs1  ssh-copy-id hadoop@hdfs1

ssh-keygen产生密钥的时候一直回车就可以完成创建

ssh-copy-id的时候需要输入hadoop的密码

下载jdk

下载地址:

www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

需要登陆之后才能下载

tar zxvf jdk-8u271-linux-x64.tar.gz mv jdk-8u271-linux-x64 /apps/ cd /apps/ ln -s jdk1.8.0_271 jdk cd -  if grep '# modify by script' /etc/profile >>/dev/null 2>&1; then     echo "alread set JAVA_HOME" else     cp /etc/profile /etc/profile_bak$(date +%Y%m%d%H%M%S)     cat >>/etc/profile <

下载hadoop和hbase

  1. mirrors.aliyun.com/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz 

  2.  

  3. archive.apache.org/dist/hbase/1.3.5/hbase-1.3.5-bin.tar.gz 


tar zxvf hadoop-2.7.7.tar.gz tar zxvf hbase-1.3.5-bin.tar.gz mv hadoop-2.7.7  hbase-1.3.5   /apps/ cd /apps ln -s hadoop-2.7.7 hadoop ln -s hbase-1.3.5 hbase cd -

配置hadoop

1.配置namenod

vim /apps/hadoop/etc/hadoop/core-site.xml

添加内容

                fs.defaultFS         hdfs://hdfs1:9000                        hadoop.tmp.dir         /data/hdfs/hadoop/tmp      

2.配置namenode和datanode

vim /apps/hadoop/etc/hadoop/hdfs-site.xml

在文件后面添加内容

                 dfs.namenode.http-address         hdfs1:50070                         dfs.namenode.secondary.http-address         hdfs2:50070                         dfs.namenode.name.dir         /data/hdfs/hadoop/name                         dfs.replication         2                        dfs.datanode.data.dir         /data/hdfs/hadoop/datanode                    dfs.permissions         false      

3.配置环境变量

vim /apps/hadoop/etc/hadoop/hadoo-env.sh

修改JAVA_HOME

export JAVA_HOME=/apps/jdk

也可以根据具体的需求设置堆栈之类的参数

4.设置主节点

vim /apps/hadoop/etc/hadoop/master

添加主节点,一般使用主机名

hdfs1

5.设置从节点

vim /apps/hadoop/etc/hadoop/slave

添加从节点,一般使用主机名

hdfs1  hdfs2  hdfs3

配置hbase

1.配置环境变量

vim /apps/hbase/conf/hbase-env.sh

修改JAVA_HOME变量即可

export JAVA_HOME=/apps/jdk

也可以根据具体的需求设置堆栈之类的参数

2.设置hadoop和zookeeper等信息

vim /apps/hbase/conf/hbase-site.xml

添加内容

          hbase.rootdir              hdfs://hdfs1:9000/hbase/hbase_db                    hbase.cluster.distributed               true           hbase.zookeeper.quorum                  hdfs1,hdfs2,hdfs3                    hbase.zookeeper.property.dataDir         /data/hdfs/hbase/zookeeper                    hbase.master.info.port         16610  
  1. vim /apps/hbase/conf/regionservers 


hdfs1 hdfs2 hdfs3

启动测试

su - hadoop  /apps/hadoop/sbin/start-all.sh /apps/hbase/bin/start-hbase.sh

感谢你能够认真阅读完这篇文章,希望小编分享的“Linux如何安装Hadoop和Hbase”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!


当前标题:Linux如何安装Hadoop和Hbase
浏览地址:http://www.cdkjz.cn/article/jhsdie.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220