现在位置: 首页 > Hadoop
2014年04月22日 Hadoop ⁄ 共 6810字 评论 4 条
下面来分析如果在真实的hadoop集群中运行 WordCount。 1. 首先准好好程序的 jar包。 2. 输入文件,这次我先把 输入文件 作为一个。一步一步来。 in.txt hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao world nihao gao tong hello world nihao gao tong hello 3. 在hadoop集群上运行程序。程序和前面...
阅读全文

2014年04月22日 Hadoop ⁄ 共 10554字 暂无评论
上一篇MapReduce执行过程分析[1]分析了 只有一个文件作为输入,在 Eclipse 中运行WordCount. 现在准备两个文件做输入。 1.  输入文件1. in.txt hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao world nihao gao tong hello world nihao gao tong hello 输入文件2. in2.txt learn Hadoop by practice ...
阅读全文
2014年04月20日 Hadoop ⁄ 共 3697字 暂无评论
配置在单节点(伪分布式)环境下运行Hadoop 一、安装 JDK 和 SSH。 二、配置SSH 无密码登陆。 使hadoop应用能够实现无码登陆。 生成一个公钥和私钥对,即id_dsa和id_dsa.pub两个文件,位于~/.ssh/authorized_keys文件夹下。 [gaotong@localhost ~]$ ssh-keygen   可以在默认目录下看到两个密钥 [gaotong@localhost ~]$ ls ~/.ssh/ id_rsa id_rsa.pub   配置密钥,使得hadoop用户能够无须输入密码,通过SSH访问l...
阅读全文
2014年04月19日 Hadoop ⁄ 共 9094字 暂无评论
下面分析两个文件时的执行情况。 输入文件分别为: in.txt hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong hello world nihao gao world nihao gao tong hello world nihao gao tong hello in2.txt learn Hadoop by practice hello word gao tong hadoop 1) 运行程序 [gaotong@localhost hadoop]$ hadoop jar wordcnt.jar c...
阅读全文
2014年04月19日 Hadoop ⁄ 共 8033字 评论 3 条
我们以WordCount程序为例进行分析。 下面的测试是在Eclipse中进行的,并不是真正的Hadoop集群。情况会和完全分布式会有所差别。 Hadoop的集群配置如下: master: 192.168.101.128 slave1: 192.168.101.129 slave2: 192.168.101.130 也就是说 只有两个 datanode节点。 首先测试一个文件作为输入 1.本次测试的输入数据只有一个。in.txt hello world nihao gao tong hello world nihao gao tong hello world nihao gao tong h...
阅读全文
2014年04月18日 Hadoop ⁄ 共 454字 暂无评论
这个问题出现好多次了。 一般是这样解决的: 1)检测 防火墙。关掉 master 的防火墙。 或者 所有机器都关掉。 [gaotong@localhost logs]$ su root Password: [root@localhost logs]# service iptables stop; iptables: Flushing firewall rules: [ OK ] iptables: Setting chains to policy ACCEPT: filter [ OK ] iptables: Unloading modules: 2)检测配置文件,一定要写 master ...
阅读全文