本文转载自:http://fromwiz.com/share/s/0YAPBB0MskCl2frl3h0UOwHX3raS-22RIQ1m2iNRRc0rJBP9
0、安装jdk
(1)sudo apt-get install vim
vi .bashrc 进入vim模式 按i 进入插入模式 然后编辑 编辑完后 按ESC 然后:wq (保存并退出)
shift +zz (本质是按两个大写的Z)
:w 保存文件但并不退出vi
:w file 将修改另外保存到file中,不退出vi
:w! 强制保存,不退出vi
:wq 保存文件并退出vi
:wq!强制保存文件并退出vi
q: 不保存文件 退出vi
:q! 不保存文件 强制退出vi
:e! 放弃所有修改,以上次保存文件开始再编辑
vi编辑只读文档无法保存的解决办法
:w !sudo tee %
编辑/etc/sudoers文件 xxx ALL=(ALL) ALL
(2)配置环境变量:
1、下载好hadoop-1.0.0.tar.gz
cd /下载
→sudo cp hadoop-1.0.0.tar.gz /usr/local
→cd /usr/local→sudo tar -xzf hadoop-1.0.0.tar.gz
→sudo mv hadoop-1.0.0 hadoop(改名文件夹为hadoop)
sudo gedit /etc/sudoers
在root ALL =(ALL) ALL 下面添加如下文字: hadoop ALL = (ALL) ALL
执行sudo chown hadoop /usr/local/hadoop,将hadoop文件夹的权限赋给hadoop用户
2、安装ssh
ssh-keygen
会提示填写保存路径,直接填括号里同样的路径即可,
直接两次回车,
即成功,跳转到保存路径,可以看到生成了一对密钥。
然后将私钥添加到受信任列表中(把钥匙交给来访者)
然后验证:
第一次会询问你。
上示即为登陆成功。
3.配置hadoop文件
(1)配置hadoop-env.sh
sh hadoop-env.sh 如果没报错,则配置正确
(2)配置core-site.xml
即:
- <property>
- <name>fs.default.name</name>
- <value>hdfs://localhost:9000</value>
- </property>
(3)配置hdfs-site.xml
即:
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
(4)配置mapred-site.xml
即:
- <property>
- <name>mapred.job.tracker</name>
- <value>localhost:9001</value>
- </property>
此时配置结束。
4、启动及运行wordcount
第一启动hdfs时要格式化一下,
localhost:50070 hdfs的管理界面
localhsot:50030 mapred的管理界面
在hodoop目录下建立input文件夹
在hdfs文件系统建/tmp/input文件夹,并将input下的两个文件上传
查看:
下面hadoop-examples-1.0.0.jar就是hadoop自带的wordcount
运行,并将结果输出到output文件夹
5、安装eclipse
下载好eclispe,然后cp /opt
sudo tar -zxvf eclipse****.tar.gz
然后 cp /opt/eclipse eclipse 即启动
相关推荐
Hadoop安装和配置,Hadoop安装和配置,Hadoop安装和配置
说明,因为这里涉及到多台计算机的共同操作,对于主节点namenode 整篇文章照做,对于datanode节点,除了Hadoop的配置,其他照做,如果配置主机数为多太,只需在后更改hadoop配置文件即可 ________________
说明,因为这里涉及到多台计算机的共同操作,对于主节点namenode 整篇文章照做,对于datanode节点,除了Hadoop的配置,其他照做,如果配置主机数为多太,只需在后更改hadoop配置文件即可 ________________
Hadoop集群安装与配置详细步骤
hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2安装和配置hadoop1.1.2...
里面是hadoop的详细课堂安装笔记和配置项,采用hadoop1.0X版本,操作系统采用centos
本文hadoop的版本为hadoop-2.2.0,java jdk1.7版本
《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践》课件02Hadoop安装与配置管理.pdf《Hadoop系统搭建及项目实践...
Hadoop安装配置过程和注意事项
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置hadoop3.0.0安装和配置
讲解Hadoop的集群所需的环境、配置、集成,一个主机三个节点测试
hadoop2.7.3安装配置 前提条件:1. 拥有Linux环境 2. 有良好的网络
hadoop安装与配置及mapreduce测试网站
Hadoop安装过程下的配置文件,包括core-site.xml和yarn-site.xml的配置
hadoop安装与配置
Hadoop2.2.0安装配置手册,新手安装和配置
hadoop安装与配置,hadoop安装预配置详细教程