1. IT分享知识网首页

MapReduce编程实例

老牧童 • • 未分类 • 阅读 88

MapReduce编程实例MapReduce编程实例（六）前提准备：1.hadoop安装运行正常。Hadoop安装配置请参考：Ubuntu下Hadoop1.2.1配置安装2.集成开发环境正常。集成开发环境配置请参考：Ubuntu搭建Hadoop源码阅读环境MapReduce编程实例：MapReduce编程实例（一）,详细介绍在集成环境中运行第一个

大家好，欢迎来到IT知识分享网。

MapReduce编程实例（六）

前提准备：

1.hadoop安装运行正常。Hadoop安装配置请参考：Ubuntu下 Hadoop 1.2.1 配置安装

2.集成开发环境正常。集成开发环境配置请参考 ：Ubuntu 搭建Hadoop源码阅读环境

MapReduce编程实例：

MapReduce编程实例（一）,详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析

MapReduce编程实例（二），计算学生平均成绩

MapReduce编程实例（三），数据去重

MapReduce编程实例（四），排序

MapReduce编程实例（五），MapReduce实现单表关联



多表关联
描述：
两张表关联，如下：
左表：
factoryname address

BMW Factory 2

Benz Factory 3

Voivo Factory 4

LG Factory 5


右表：
addressID addressname

2 Beijing

3 Guangzhou

4 Shenzhen

5 Sanya


根据addressID关联求出factoryname-address表。很明显，左右关联即可，和单表关联一样。不多作表述，有需要可以查看单表关联的分析。

[java]
view plain
copy
在CODE上查看代码片
派生到我的代码片

  1. package com.t.hadoop;  
  2.   
  3. import java.io.IOException;  
  4. import java.util.ArrayList;  
  5. import java.util.List;  
  6.   
  7. import org.apache.hadoop.conf.Configuration;  
  8. import org.apache.hadoop.fs.Path;  
  9. import org.apache.hadoop.io.IntWritable;  
  10. import org.apache.hadoop.io.Text;  
  11. import org.apache.hadoop.mapreduce.Job;  
  12. import org.apache.hadoop.mapreduce.Mapper;  
  13. import org.apache.hadoop.mapreduce.Reducer;  
  14. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  15. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  16. import org.apache.hadoop.util.GenericOptionsParser;  
  17.   
  18. /** 
  19.  * 多表排序 
  20.  * @author daT dev.tao@gmail.com 
  21.  * 
  22.  */  
  23. public class MTJoin {  
  24.     public static int times = 1;  
  25.       
  26.     public static class MTMapper extends Mapper<Object, Text, Text, Text>{  
  27.   
  28.         @Override  
  29.         protected void map(Object key, Text value, Context context)  
  30.                 throws IOException, InterruptedException {  
  31.             String relation = new String();  
  32.             String line = value.toString();  
  33.             if(line.contains(“factoryname”)||line.contains(“addressID”)) return;  
  34.             int i = 0;  
  35.             while(line.charAt(i)<‘0’||line.charAt(i)>‘9’){  
  36.                 i++;  
  37.             }  
  38.             if(i>0){
    //左表  
  39.                 relation = “1”;  
  40.                 context.write(new Text(String.valueOf(line.charAt(i))),new Text(relation + line.substring(0,i-1)));  
  41.             }else{
    //右表  
  42.                 relation = “2”;  
  43.                 context.write(new Text(String.valueOf(line.charAt(i))),new Text(relation +line.substring(i+1)));  
  44.             }  
  45.               
  46.         }  
  47.           
  48.     }  
  49.       
  50.       
  51.     public static class MTReducer extends Reducer<Text, Text, Text, Text>{  
  52.   
  53.         @Override  
  54.         protected void reduce(Text key, Iterable<Text> value,Context context)  
  55.                 throws IOException, InterruptedException {  
  56.             if(times==1){  
  57.                 context.write(new Text(“factoryName”), new Text(“Address”));  
  58.                 times ++;  
  59.             }  
  60.             int factoryNum = 0;  
  61.             int addressNum = 0;  
  62.             String[] factorys = new String[10];  
  63.             String[] addresses = new String[10];  
  64.               
  65.             for(Text t:value){  
  66.                 if(t.charAt(0)==‘1’){
    //左表  
  67.                     factorys[factoryNum]=t.toString().substring(1);  
  68.                     factoryNum++;  
  69.                 }else{
    //右表  
  70.                     addresses[addressNum]=t.toString().substring(1);  
  71.                     addressNum++;  
  72.                 }  
  73.             }  
  74.               
  75.             for(int i = 0;i<factoryNum;i++){  
  76.                 for(int j=0;j<addressNum;j++){  
  77.                     context.write(new Text(factorys[i]), new Text(addresses[j]));  
  78.                 }  
  79.             }  
  80.               
  81.         }  
  82.           
  83.     }  
  84.       
  85.     public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException{  
  86.         Configuration conf = new Configuration();  
  87.         String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();  
  88.           
  89.         if(otherArgs.length<2){  
  90.             System.out.println(“Parameters error”);  
  91.             System.exit(2);  
  92.         }  
  93.           
  94.         Job job =new Job(conf,“MTjoin”);  
  95.         job.setJarByClass(MTJoin.class);  
  96.         job.setMapperClass(MTMapper.class);  
  97.         job.setReducerClass(MTReducer.class);  
  98.         job.setOutputKeyClass(Text.class);  
  99.         job.setOutputValueClass(Text.class);  
  100.           
  101.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
  102.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
  103.           
  104.         System.exit(job.waitForCompletion(true)?0:1);  
  105.           
  106.     }  
  107. }  
输出结果：

factoryName
Address

BMW Factory
Beijing

Benz Factory
Guangzhou

Voivo Factory
Shenzhen

LG Factory
Sanya

免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/22875.html

赞 (0)
老牧童老牧童
0

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信