Hadoop 快速入门 - 学习笔迹 - BlogJava
学习笔迹 好记性不如烂笔头! BlogJava    首页 新随笔 联系 管理 随笔-153  评论-235  文章-19  trackbacks-0 Hadoop 快速入门  
Required Software
Java
TM
1.5.x
ssh与sshd
如果没有安装请自行安装。我以CentOS 4.6为例。
下载hadoop，
http://apache.mirror.phpchina.com/hadoop/core/
我下载的是0.17.1版本。
解压hadoop-0.17.1.tar.gz，然后conf/hadoop-env.sh 设置
JAVA_HOME
，我是可
去注释，值自己的路径。如：
export JAVA_HOME
=/
usr
java
jdk1
0_06
如果不设置启动后用不了。
先从简单开始。
1、Local (Standalone) Mode ，叫单机模式。
[chenlb
@master
 hadoop
0.17
]$ bin
hadoop jar hadoop
examples
jar 
grep
 conf output 
dfs[a-z.]+
]$ cat output
/*
如果，正常可以看到内容。像这样。
       dfs
class
period
replication
...    ...
2、Pseudo-Distributed Mode，虚拟分布模式。
vi conf/hadoop-site.xml
<
configuration
>
property
        
name
fs.default.name
</
value
hdfs://master:9000/
mapred.job.tracker
hdfs://master:9001/
dfs.replication
hadoop.tmp.dir
/home/chenlb/hadoop-0.17.1/tmp/
在/etc/hosts里添加本机ip对应master，例如我的：172.16.249.210    master
保证可以无密码登录。请看那一篇文章：
http://www.blogjava.net/chenlb/archive/2008/07/03/212293.html
用ssh localhost试一下是否免密码登录。
格式化分布式文件系统：
hadoop namenode 
format
启动Hadoop：
start
all
sh 
默认可以在
${HADOOP_HOME}/logs
里看到日志。
可以用web看浏览NameNode和JobTracker
NameNode
http://localhost:50070/
JobTracker
http://localhost:50030/
把文件放到分布式文件系统里：
hadoop dfs 
put conf input
此时已经在分布文件系统里建立了input文件夹。而conf是本地的文件夹。
执行示例：
-*-
 input output 
这里input和output都是分布式文件系统的的文件夹，而且output在分布式文件系统里不存在，否则报错（也可以先删除它bin/badoop dfs -rmr output）。
耐心等待。结束后可以查看。
get output output 
也可以直接在分布式文件系统里查：
cat output
成功运行后可以关闭它了：
stop
sh
我在第2阶段，出了些问题：output已经存在，要先删除它（第二次运行前，可以不用output）。
下一篇讲：Fully-Distributed Mode
http://www.blogjava.net/chenlb/archive/2008/08/11/221314.html
posted on 2008-08-11 15:28
流浪汗
阅读(4939)
评论(2)
编辑
收藏
所属分类:
Lucene
-->
评论:
re: Hadoop 快速入门
2009-04-28 11:03 |
隔叶黄莺
想问一下，博主在使用 Hadoop 有实际的应用吗？用在哪些方面的。  
回复
更多评论
2009-04-28 13:21 |
@隔叶黄莺
没有实际的经验，那时公司打算要用，后来就不用了。想用在分布式索引。
后来也就没时间继续学习它了。  
新用户注册
刷新评论列表
只有注册用户
登录
后才能发表评论。
网站导航:
博客园
IT新闻
知识库
C++博客
博问
相关文章:
Hadoop 快速入门(二)--Fully-Distributed Mode
solr 的 Distributed Searching 试用
solr1.3 的新功能
solr 分布式(复制)配置
solr 术语
solr json ajax
Lucene简单使用
2008年8月
27
28
29
30
31
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
留言簿
(14)
给我留言
查看公开留言
查看私人留言
随笔分类
AJAX(1)
algorithm(1)
C/C++(2)
Design paterns/UML(1)
Eclipse(2)
HTML(14)
JAVA/J2EE(24)
Linux(24)
Lucene(8)
mmseg4j(2)
MySQL(9)
OpenSource(12)
oracle(7)
Other(2)
Server(4)
Spring(7)
Tomcat(11)
名词解释(5)
寓言(1)
小技巧(3)
感情天地(2)
搞笑链接(1)
清理(6)
疑难杂症(4)
随笔档案
2010年2月 (3)
2010年1月 (1)
2009年10月 (1)
2009年4月 (1)
2008年10月 (1)
2008年9月 (4)
2008年8月 (6)
2008年7月 (10)
2008年6月 (8)
2008年5月 (7)
2008年4月 (4)
2008年3月 (9)
2008年2月 (1)
2008年1月 (3)
2007年12月 (6)
2007年11月 (5)
2007年10月 (15)
2007年9月 (9)
2007年8月 (14)
2007年7月 (6)
2007年6月 (2)
2007年5月 (6)
2007年4月 (8)
2007年3月 (13)
2007年2月 (1)
2006年12月 (3)
2006年11月 (7)
文章分类
Java(5)
linux(3)
lucene(1)
other
Search(5)
学习链接(1)
收藏夹(2)
项目(1)
文章档案
2008年7月 (5)
2008年3月 (5)
2007年10月 (2)
2007年4月 (2)
2006年12月 (1)
2006年11月 (2)
新闻分类
java(1)
新闻档案
2008年7月 (1)
收藏夹
Java(9)
solr(1)
科技(1)
友情链接
vootoo 电视剧网
中文 MySQL.CN 论坛
我的javaeye博客
我的个人博客
老丘的 Blog
同学链接
学习链接
css javascript(rlog)
好css 与 javascript
jobchanceleo(职业生涯顾问Leo)
lhwork
max(struts2)
qclass(java/j2ee)
Unmi(Quartz)
willpower88
推荐系统
比较有深度的"推荐系统"相关的文章
蛟龍居
专注Groovy & Grails
最新随笔
1. css 实现鼠标移到上面背景变色
2. css 标签 a 的 hover 是否有效与出现的顺序有关
3. Nginx Location 语法，与简单配置
4. linux下top命令参数解释
5. 中文分词 mmseg4j-1.8 版发布
6. 中文分词 mmseg4j 1.7.2 版发布
7. 此博客很少更新!
8. 试用 code highlight (SyntaxHighlighter)
9. linux 解压 tgz
10. solr分发问题 rsync:link_stat "snapshot.20080820124136/." (in solr) failed: No such file or directory (2)
搜索
积分与排名
积分 -
554687
排名 -
86
最新评论
1. re: ssh 免密码登录
不要密码账号
--韩有中
2. re: ssh 免密码登录
怎么上不了网
3. re: ant build 出现 warning
modified in the future
太感谢了
--孙
4. re: linux 解压 tgz
评论内容较长,点击标题查看
--elesos
5. re: linux 解压 tgz
阅读排行榜
1. linux 解压 tgz(46147)
2. ORA-01461: can bind a LONG value only for insert into a LONG column(25199)
3. windows media player 11 破解(23954)
4. U盘中毒,文件夹被隐藏,同时生成与文件夹相同名称的*.exe文件.(20315)
5. spring 依赖注入到直接new 对象(15364)
6. xml 转义符(15355)
7. ssh 免密码登录(13702)
8. centos 配置 ssh(12518)
9. Nginx Location 语法，与简单配置(11978)
10. 整数或小数正则表达式问题(javascript)(11021)
评论排行榜
1. U盘中毒,文件夹被隐藏,同时生成与文件夹相同名称的*.exe文件.(40)
2. windows media player 11 破解(32)
3. ORA-01461: can bind a LONG value only for insert into a LONG column(14)
4. 语言栏无法显示,不显示怎么办?(9)
5. 查看开机时间(9)
Powered by:
模板提供：
沪江博客
Copyright ©2024 流浪汗