资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Hadoop单机模式安装入门(Ubuntu系统)-创新互联

闲来无事,突然看到关于Hadoop集群。以前也了解过,网上找过一些关于百度,谷歌等底层hadoop集群的文档,可是面对很多陌生的技术,看不太通透。所有想自己动手虚拟机试试。经常听到这么高大上的名词,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。而另一方面,MapReduce在谷歌已不再显赫。当企业瞩目MapReduce的时候,谷歌好像早已进入到了下一个时代。

目前创新互联建站已为1000+的企业提供了网站建设、域名、雅安服务器托管网站托管运营、企业网站设计、西夏网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。

Hadoop支持三种启动集群模式,分别是单机模式,wei分布式模式,安全分布式模式。下面我做的测试是单机模式。

我用的是阿里云ECS主机免费试用版,,,,,,

uname  -a

Linux iZ25wbw8q4uZ 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux

1,创建hadoop户和群组

Hadoop单机模式安装入门(Ubuntu系统)Hadoop单机模式安装入门(Ubuntu系统)

回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。

    如果不输入密码,回车后会重新提示输入密码,即密码不能为空。

    最后确认信息是否正确,如果没问题,输入 Y,回车即可。

修改hadoop为root权限

vim /etc/sudoers

修改添加hadoop  ALL=(ALL:ALL) ALL

Hadoop单机模式安装入门(Ubuntu系统)Hadoop单机模式安装入门(Ubuntu系统)

2,安装ssh支持服务,实现免密登录

查询ssh包支持,并创建ssh免密登录服务器

用到的命令:su hadoop  //切换用户

dpkg -l | grep openssh-server   //查询ssh支持包

service  ssh start  //启动ssh远程连接服务

ssh-keygen -t rsa  //生成ssh私/公钥密码文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys  //拷贝公钥认证文件

ssh localhost  //本机ssh登录测试

Hadoop单机模式安装入门(Ubuntu系统)

Hadoop单机模式安装入门(Ubuntu系统)

3,安装JAVA环境

http://www.oracle.com/technetwork/java/javase/downloads/index.html   下载jdk

java -version命令出现如下是因为没有正确设置环境变量

Hadoop单机模式安装入门(Ubuntu系统)Hadoop单机模式安装入门(Ubuntu系统)

tar zxvf jdk-8u51-linux-x64.tar.gz

mv jdk1.8.0_51/ /usr/local/src/jdk1.8

修改环境变量,

vim ~/.bashrc

Hadoop单机模式安装入门(Ubuntu系统)Hadoop单机模式安装入门(Ubuntu系统)

4,安装Hadoop2.7.1

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

tar zxvf hadoop-2.7.1.tar.gz

 mv hadoop-2.7.1 /usr/local/hadoop

chown -R hadoop.hadoop hadoop

chmod 774 /usr/local/hadoop/

hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim ~/.bashrc    //修改hadoop用户环境变量,最下面添加

#HADOOP VARIABLES START

export JAVA_HOME=/usr/local/src/jdk1.8/

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

#HADOOP VARIABLES END

Hadoop单机模式安装入门(Ubuntu系统)Hadoop单机模式安装入门(Ubuntu系统)

hadoop@iZ25wbw8q4uZ:/usr/local/hadoop$ vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh  //修改handoop认证环境变量,最下面添加一行

Hadoop单机模式安装入门(Ubuntu系统)Hadoop单机模式安装入门(Ubuntu系统)

5,WordCount测试

单机模式安装完成,下面通过执行hadoop自带实例WordCount验证是否安装成功

 /usr/local/hadoop路径下创建input文件夹

 mkdir input

 cp README.txt input  //拷贝README.txt到input

 执行WordCount

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output

Hadoop单机模式安装入门(Ubuntu系统)

Hadoop单机模式安装入门(Ubuntu系统)

执行 cat output/*,查看字符统计结果

Hadoop单机模式安装入门(Ubuntu系统)Hadoop单机模式安装入门(Ubuntu系统)

到此,hadoop单机模式已经完成。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章名称:Hadoop单机模式安装入门(Ubuntu系统)-创新互联
标题网址:http://www.cdkjz.cn/article/csogjh.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220