hadoop和hive如何安装

这篇文章将为大家详细讲解有关hadoop和hive如何安装，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

成都创新互联公司-专业网站定制、快速模板网站建设、高性价比双阳网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式双阳网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖双阳地区。费用合理售后完善，十载实体公司更值得信赖。

一、环境准备篇

vmware虚拟机安装两个centos7服务器（这里介绍一下vmware虚拟机设置固定ip）

这样vmware虚拟机固定ip网络就搭建好了，搭建Hadoop机器说明：主：192.168.2.2，从192.168.2.3（虚拟机一开始要设置固定ip）
两个服务器上的/etc/hosts如下：
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.2.2 master
192.168.2.3 slave0

二、hadoop安装包下载部署，下载地址： http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/

1、cd /data/software/
2、rz -y
3、tar -zxvf hadoop-2.7.5.tar.gz /usr/local/
4、mv hadoop-2.7.5 hadoop
5、vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh 
找到export JAVA_HOME，修改为export JAVA_HOME=/usr/local/jdk1.8.0_251
6、 vi /usr/local/hadoop/etc/hadoop/core-site.xml需要在和之间加入的代码：

    fs.defaultFS
    hdfs://master:9000


    hadoop.tmp.dir
    /opt/hadoop/hadoopdata

7、vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml
需要在和之间加入的代码：

    dfs.replication
    1

8、vi /usr/local/hadoop/etc/hadoop/yarn-site.xml需要在和之间加入的代码：
    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.resourcemanager.address
    master:18040


    yarn.resourcemanager.scheduler.address
    master:18030


    yarn.resourcemanager.resource-tracker.address
    master:18025


    yarn.resourcemanager.admin.address
    master:18141


    yarn.resourcemanager.webapp.address
    master:18088

9、cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
vi /usr/local/hadoop/etc/hadoop/mapred-site.xml需要在和之间加入的代码：

    mapreduce.framework.name
    yarn

10、vi /opt/hadoop/hadoop/etc/hadoop/slaves
slave0
slave1
11、scp -r /usr/local/hadoop root@slave0:/usr/local
12、cd /usr/local/hadoop（两个节点都做）
vi ~/.bash_profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source ~/.bash_profile
13、mkdir /opt/hadoop/hadoopdata
hadoop namenode -format
14、cd /usr/local/hadoop/sbin
start-all.sh
stop-all.sh

在13做完以后需要创建hadoop用户，hadoop组，然后使用chown命令将/usr/local/hadoop授权给hadoop组下的Hadoop用户，检查两个服务器上的进程，进程明细如下：

192.168.2.2主节点
18784 SecondaryNameNode
18579 NameNode
18942 ResourceManager
21726 Jps
192.168.2.3从节点
129605 NodeManager
1445 Jps
129480 DataNode

如果从节点上datanode没有启动，可以查看从节点上datanode日志，日志目录 ：/usr/local/hadoop/logs/hadoop-hadoop-datanode-slave0.log

cd /usr/local/hadoop/bin
echo "abc" file.txt
ls -l 
./hdfs dfs -ls /
./hdfs dfs -put file.txt /

这样就上传了一个文件到hdfs中，可以打开地址http://192.168.2.2:50070/查看根目录下是否存在file.txt

三、hive安装包下载部署，下载地址： http://mirror.bit.edu.cn/apache/hive/

1、 tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/
2、 mv apache-hive-2.1.1-bin hive
3、 vi /etc/profile
export HIVE_HOME=/usr/local/hive 
export PATH=$PATH:$HIVE_HOME/bin 
source /etc.profile
4、cd /usr/local/hive/conf/
vi  hive-site.xml

        
                javax.jdo.option.ConnectionURL  
                jdbc:MySQL://192.168.2.2:3306/hivedb?createDatabaseIfNotExist=true
                JDBC connect string for a JDBC metastore
        
        
                javax.jdo.option.ConnectionDriverName
                com.mysql.jdbc.Driver
                Driver class name for a JDBC metastore
        
        
                javax.jdo.option.ConnectionUserName
                root
                username to use against metastore database
                
        
                javax.jdo.option.ConnectionPassword
                1234
                password to use against metastore database
                
        
                hive.metastore.warehouse.dir
                /user/hive/warehouse
                hive default warehouse, if nessecory, change it
         

5、复制mysql的驱动程序到hive/lib下面
6、cd  /usr/local/hive/bin
schematool -dbType mysql -initSchema
7、执行hive命令
create database test_workcreate table course (id int,name string);8、查询hadoop目录
hadoop fs -lsr /
drwxr-xr-x   - hadoop supergroup          0 2020-08-28 22:53 /user
drwxr-xr-x   - hadoop supergroup          0 2020-08-28 22:53 /user/hive
drwxr-xr-x   - hadoop supergroup          0 2020-08-28 22:53 /user/hive/warehouse
drwxr-xr-x   - hadoop supergroup          0 2020-08-28 22:53 /user/hive/warehouse/test_work.db
drwxr-xr-x   - hadoop supergroup          0 2020-08-28 22:54 /user/hive/warehouse/test_work.db/course
9、查询hivedb数据库的DBS、TBLS差异

关于“hadoop和hive如何安装”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。