`
臻是二哥
  • 浏览: 182673 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
博客专栏
Group-logo
Java技术分享
浏览量:0
社区版块
存档分类
最新评论

第一个hadoop程序-WordCount

 
阅读更多

首先说明一下环境:我在前面的博客中搭建的hadoop平台,具体为运行在win7上的eclipse3.3连接到位于ubuntu14.04hadoop集群,至于具体的搭建方法请参见以前的博客。下面开始在eclipse中调试WordCount程序:

打开eclipse,新建一个Map/Reduce Project



 
 



 
 

Map/Reduce Project工程下,建立一个java文件,命名为WordCount,代码如下:

WordCount程序的源代码,可以在hadoop包的src文件夹中找到

import java.io.IOException;

import java.util.StringTokenizer;

import org.apache.hadoop.conf.*;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.util.*;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapreduce.Reducer.Context;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.fs.Path;

 

public class WordCount {

public static class MyMapper extends Mapper<Object,Text, Text,IntWritable>{

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

 

public void map(Object key, Text value,Context context) throws IOException,InterruptedException{

StringTokenizer st=new StringTokenizer(value.toString());

while(st.hasMoreTokens()){

String str=st.nextToken();

word.set(str);

context.write(word, one);

System.out.println(str+"="+one.get());

}

}

}

 

public static class MyReducer extends Reducer<Text,IntWritable,Text,IntWritable>{

private IntWritable result = new IntWritable();

public void reduce(Text key,Iterable<IntWritable> values ,Context context) throws IOException,InterruptedException{

int sum=0;

for(IntWritable val:values)

{

sum+=val.get();

}

System.out.println(key+"="+sum);

result.set(sum);

context.write(key,result);

}

 

}

 

 

 

public static void main(String [] args) throws Exception

{

Configuration conf= new Configuration();

 String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();

    if (otherArgs.length != 2) {

      System.err.println("Usage: wordcount <in> <out>");

      System.exit(2);

    }

   Job job=new Job(conf,"word count" );

   job.setJarByClass(WordCount.class);

   job.setMapperClass(MyMapper.class);

   job.setCombinerClass(MyReducer.class);

   job.setReducerClass(MyReducer.class);

   

   job.setOutputKeyClass(Text.class);

   job.setOutputValueClass(IntWritable.class);

   

    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

    System.out.println("运行啦");

    System.exit(job.waitForCompletion(true) ? 0 : 1);

 

}

}

这个程序需要输入文件和输出文件(输入文件会自动生成),因此我们在hdfs中建立输入文件,通过XShell进入NameNode节点,执行如下命令:

mkdir ~/input

cd ~/input

echo hello world  >> 1.txt

echo hello hadoop >>1.txt

echo hello java  >>2.txt

echo hello c >>2.txt

执行完这些命令,input中有两个txt文件,内容分别为:

 

 

之后,使用hadoop dfs -put ~/input inin命令将该文件复制到hdfs系统中。

然后就可以运行了,但是运行的时候需要参数,因此进行如下操作设置参数:



 
 



 
 

 

注意,上图中的Program arguments中的内容就是程序运行需要的参数,多个参数之间使用空格就可以,当然换行也可以。

这个程序需要输入输入文件和输出文件在hdfs中的位置,这里,小编的输入输出(输出会自动生成)如图。

到这里,点击对话框下面的Run就可以运行了。

注意:

可能会有的问题:

第一个问题:

org.apache.hadoop.security.AccessControlException:Permission denied:user=xxx,access=WRITE,incode=hadoop

这是权限问题,通过Xshell进入namenode节点,先关闭hadoop服务,在修改hadf-site.xml文件,添加如下内容(注意,对hdfs-site.xml的修改要同步到其他所有节点,不然集群无法启动)

 

然后,启动hadoop服务,重新运行WordCount程序,bug消失。

第二个问题:

 

Hadoop错误锦集http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=22312037&id=4095491

  • 大小: 30.5 KB
  • 大小: 34.4 KB
  • 大小: 19.6 KB
  • 大小: 61.6 KB
  • 大小: 26.5 KB
  • 大小: 11.4 KB
  • 大小: 3 KB
0
0
分享到:
评论

相关推荐

    【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)

    【大数据入门笔记系列】第五节 SpringBoot集成hadoop开发环境(复杂版的WordCount)前言环境清单创建SpringBoot项目创建包创建yml添加集群主机名映射hadoop配置文件环境变量HADOOP_HOME编写代码添加hadoop依赖jar包...

    Hadoop的单机伪分布式搭建和运行第一个WordCount程序

    Hadoop的单机伪分布式搭建和运行第一个WordCount程序 • 环境: macOs下 Eclipse(Neon)+Hadoop-2.5.2(64位) 注:已经安装的java环境,我的事jdk1.8的

    新版Hadoop视频教程 段海涛老师Hadoop八天完全攻克Hadoop视频教程 Hadoop开发

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    hadoop段海涛老师八天实战视频

    第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...

    word源码java-wordcount:字数

    楼主花费了1天终于按照教程自己第一次成功运行了这个案例。 Hadoop: Intellij结合Maven本地运行和调试MapReduce程序 (无需搭载Hadoop和HDFS环境) 2016-05-24 12717 Hadoop maven 39 Hadoop: Run and Debug Hadoop ...

    基于eclipse的spark入门基础案例(hadoop、spark)

    第一章 Hortonworks安装 第二章 在Eclipse中运行Hadoop平台的WordCount程序 第三章 在Eclipse中运行Spark平台的WordCount程序

    MapReduceRepo:MapReducePractice in java for CMPT732 Assignment1

    映射还原库##MapReducePractice 用于 CMPT732 作业 1 作者:Weipu ZHAO ###1 字数统计,你的第一个 Hadoop 程序 CMPT732A1-WordCount/src/org/CMPT732/WordCount.java 基本的 map reduce 实现###2 用于并行计算的 ...

    WordCountApp.java

    这是Hadoop里面第一个,很基础的统计词频的程序,wordcount。

    mac安装Hadoop3.2.1教程(超详细)

    由于课程需要和工具限制,需要在mac上安装Hadoop,参考了网上的教程,总结了用terminal安装Hadoop3.2.1以及运行第一个Wordcount程序的过程。这里默认mac的terminal已经安装了homebrew软件管理工具、JDK环境,如果没...

    实验8 Flink初级编程实践

    1. 使用IntelliJ IDEA工具开发WordCount程序 在Linux操作系统中安装IntelliJ IDEA,然后使用IntelliJ IDEA工具开发WordCount程序,并打包成JAR包,提交到Flink中运行。 安装Flink并启动: 安装maven: 使用IntelliJ ...

    HadoopMapReduce开发最佳实践

    MapRuduce开发对于大多数程序员都会觉得略显复杂,运行一个WordCount(Hadoop中helloword程序)不仅要熟悉MapRuduce模型,还要了解Linux命令(尽管有Cygwin,但在Windows下运行MapRuduce仍然很麻烦),此外还要学习...

    map-reduce-samples:实验图简化代码

    地图减少样本这是我的回购,其中包含一些map reduce代码示例。 每个都位于不同的Java包命名空间中。 对于每个样本,我都包含了一些使用mrunit(map-... 它读取输入文件并提取每行的第一个字符。 然后将该行写入与该字

    拓思爱诺大数据-第二次作业MapReduce编程

    四川大学IT企业实训,拓思爱诺大数据第二次作业,MapReduce编程,包括Hadoop wordcount程序,及flowcount流量统计程序,包括重写排序及分区函数

    大数据工程师学习计划.pdf

    第⼀阶段(基础阶段) 1)Linux学习(跟鸟哥学就ok了)-----20⼩时 Linux操作系统介绍与安装。 Linux常⽤命令。 Linux常⽤软件安装。 Linux⽹络。 防⽕墙。 Shell编程等。 2)Java ⾼级学习(《深⼊理解Java虚拟机...

    yarn-site.xml

    很有可能解决小部分人在运行第一次wordcount程序的问题,因为虚拟内存与物理内存比值不够而增加比值

Global site tag (gtag.js) - Google Analytics