一.虚拟机安装CentOS7并配置共享文件夹
二.CentOS 7 上hadoop伪分布式搭建全流程完整教程
三.本机使用python操作hdfs搭建及常见问题
四.mapreduce搭建
五.mapper-reducer编程搭建
成都网站设计、成都网站建设服务团队是一支充满着热情的团队，执着、敏锐、追求更好，是创新互联的标准与要求，同时竭诚为客户提供服务是我们的理念。
成都创新互联公司把每个网站当做一个产品来开发，精雕细琢，追求一名工匠心中的细致，我们更用心！
mapreduce搭建
- 一、配置
- 1.创建mapred-site.xml文件
- 2.编辑mapred-site.xml
- 二、打开hadoop
- 0.删除data文件夹
- 1.格式化 namenode
- 2.启动集群
- 3.启动 namenode 和 datanode
- 4.查看服务
- 5.web访问
- 三、执行测试历程
一、配置
1.创建mapred-site.xml文件
cd /usr/local/hadoop/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
2.编辑mapred-site.xml
sudo gedit mapred-site.xml
替换
为
mapreduce.framework.nameyarn[huangqifa@hadoop4 hadoop]$ sudo gedit yarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffle
二、打开hadoop
0.删除data文件夹
删除/home/huangqifa/data（core-site.xml、hdfs-site.xml中的存储路径）
1.格式化 namenode
hadoop namenode -format
2.启动集群
sh /usr/local/hadoop/sbin/start-all.sh
3.启动 namenode 和 datanode
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
4.查看服务
[huangqifa@hadoop4 ~]$ jps
3012 NameNode
3562 ResourceManager
4044 Jps
3869 NodeManager
3374 SecondaryNameNode
3167 DataNode
5.web访问
三、执行测试历程
cd /usr/local/hadoop/share/hadoop/mapreduce/
hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 3 3
其中第一个3的含义是指开启3个map任务，第二个3是每个map里面投掷3次，这两个参数可以修改
参考网址：https://blog.csdn.net/jjjjjjabnannnan/article/details/110239351
你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧
文章题目：mapreduce搭建-创新互联
网站地址：
http://www.cdkjz.cn/article/djciis.html
