http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html?utm_source=rss&utm_medium=rss&utm_campaign=getting_started_with_hadoop_part1 前尘往昔逝如烟 曾忆风云舞九天 Thu, 02 Feb 2012 12:08:11 +0000 hourly 1 http://wordpress.org/?v=3.2.1 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-470 Using Nutch 0.8.1 for Intranet Crawling and Searching | 细柳营 Mon, 12 Jul 2010 10:36:16 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-470 [...] 本文尝试使用 Nutch 0.8.1 来为几个指定的网站建立全文索引，且不使用 Hadoop 提供的分布式能力，只是简单地在一台单独的机器上完成索引工作。如果需要使用 Nutch 的分布式能力，需要熟悉一下 Hadoop. [...] [...] 本文尝试使用 Nutch 0.8.1 来为几个指定的网站建立全文索引，且不使用 Hadoop 提供的分布式能力，只是简单地在一台单独的机器上完成索引工作。如果需要使用 Nutch 的分布式能力，需要熟悉一下 Hadoop. [...]

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-469 Running Hadoop 0.15.1 on Single Node | 细柳营 Mon, 12 Jul 2010 10:11:09 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-469 [...] 一年前我曾经写过一篇文章介绍如何安装和配置 Hadoop cluster，但从开发者实践角度来说，在开发阶段通常需要把 Hadoop 配置在单机（单节点）上，这样比较现实，谁能有事没事就随身带着 N 台机器组成的 cluster 呢？再者，当时我用的版本是 0.9.2，现在最新的 Hadoop 是 0.15.1，毕竟 Hadoop 还处于 pre-1.0 阶段，版本的变化很大。 [...] [...] 一年前我曾经写过一篇文章介绍如何安装和配置 Hadoop cluster，但从开发者实践角度来说，在开发阶段通常需要把 Hadoop 配置在单机（单节点）上，这样比较现实，谁能有事没事就随身带着 N 台机器组成的 cluster 呢？再者，当时我用的版本是 0.9.2，现在最新的 Hadoop 是 0.15.1，毕竟 Hadoop 还处于 pre-1.0 阶段，版本的变化很大。 [...]

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-49 hadoop Thu, 12 Mar 2009 06:01:17 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-49 欢迎大家到http://cn.hadoop.org/ 讨论，国内研究这个的人太少 欢迎大家到http://cn.hadoop.org/
讨论，国内研究这个的人太少

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-48 nicole Fri, 25 Jul 2008 06:42:30 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-48 楼主，您好。我想问你一个问题。在配置SSH的时候，我一直出错。就是在输入命令：~$ ssh-keygen -t rsa的时候，总是说could not creat directory '/cygdrive/x/.ssh' 。这是什么原因呢，是不是我安装错了还是什么啊？ 楼主，您好。我想问你一个问题。在配置SSH的时候，我一直出错。就是在输入命令：~$ ssh-keygen -t rsa的时候，总是说could not creat directory ‘/cygdrive/x/.ssh’ 。这是什么原因呢，是不是我安装错了还是什么啊？

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-47 rhin_x@163.com Mon, 24 Mar 2008 10:28:41 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-47 写问题解决了，读取速度竟然是写入慢6倍，实在不不可思议 写问题解决了，读取速度竟然是写入慢6倍，实在不不可思议

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-46 richard Fri, 14 Mar 2008 10:07:39 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-46 @rhin_x, 好样的，如果测试能确定是这个原因，你可以在 hadoop 的 WIKI 中加篇文章说明、并提供测试方法和结果。 @rhin_x, 好样的，如果测试能确定是这个原因，你可以在 hadoop 的 WIKI 中加篇文章说明、并提供测试方法和结果。

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-45 rhin_x@163.com Fri, 14 Mar 2008 07:45:29 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-45 兄弟我发现原因了，如果namenode和datanode合用非常影响效率，哪怕那台机器非常强劲。具体还在做更多的测试呵呵 兄弟我发现原因了，如果namenode和datanode合用非常影响效率，哪怕那台机器非常强劲。具体还在做更多的测试呵呵

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-44 rhin_x@163.com Thu, 13 Mar 2008 02:32:29 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-44 谢谢楼主这么及时回复，正在研究中 谢谢楼主这么及时回复，正在研究中

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-43 richard Wed, 12 Mar 2008 09:49:01 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-43 @rhin_x, sorry 啊，我也没具体研究这些参数值的调节。。。你研究一下，写下心得来与大家分享 ^o^ @rhin_x,
sorry 啊，我也没具体研究这些参数值的调节。。。你研究一下，写下心得来与大家分享 ^o^

]]> http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-42 rhin_x@163.com Wed, 12 Mar 2008 09:21:45 +0000 http://huang.yunsong.net/2006/getting_started_with_hadoop_part1.html#comment-42 楼主有个问题，目前我用2datanode，在写入5k大小文件是每秒只能存储15个，但如果用scp或者其他每秒至少可以学300+，需要调整什么参数呢，谢谢，在写大文件比如40M的文件时 hadoop和scp差距不明显 楼主有个问题，目前我用2datanode，在写入5k大小文件是每秒只能存储15个，但如果用scp或者其他每秒至少可以学300+，需要调整什么参数呢，谢谢，在写大文件比如40M的文件时 hadoop和scp差距不明显

]]>