首页/小白筆記

万法归宗之Hadoop编程无界限

 2023-09-05 阅读 18 评论 0

摘要：2019独角兽企业重金招聘Python工程师标准>>> 记录下，散仙今天的工作以及遇到的问题和解决方案，俗话说，好记性不如烂笔头，写出来文章，供大家参考，学习和点评，进步，才是王道 ，废话不多说，下面

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

记录下，散仙今天的工作以及遇到的问题和解决方案，俗话说，好记性不如烂笔头，写出来文章，供大家参考，学习和点评，进步，才是王道 ，废话不多说，下面切入主题： 

先介绍下需求： 

散仙要处理多个类似表的txt数据，当然只有值，列名什么的全部在xml里配置了，然后加工这些每个表的每一行数据，生成特定的格式基于ASCII码1和ASCII码2作为分隔符的一行数据，ASCII2作为字段名和字段值的分隔符，ASCII1作为字段和字段之间的分隔符，每解析一个txt文件时，都要获取文件名，然后与xml中的schema信息映射并找到对应位置的值，它的列名，前提是，这些的txt的内容位置，是固定的，然后我们知道它每一行属于哪个表结构的映射，因为这些映射信息是提前配置在xml中的，如下图： 

09101036_8D4U.png

当然类似这样的结构有20个左右的表文件，到时候，我们的数据方，会给我们提供这些txt文件，然后散仙需要加工成特定的格式，然后写入HDFS，由我们的索引系统使用MapReduce批量建索引使用。 

本来想直接用java写个单机程序，串行处理，然后写入HDFS，后来一想假如数据量比较大，串行程序还得改成多线程并行执行，这样改来改去，倒不如直接使用MapReduce来的方便 
ok，说干就干，测试环境已经有一套CDH5.3的hadoop2.5集群，直接就在eclipse进行开发和MapReduce程序的调试，反正也好久也没手写MapReduce了，前段时间，一直在用Apache Pig分析数据，这次处理的逻辑也不复杂，就再写下练练手 ， CDH的集群在远程的服务器上，散仙本机的hadoop是Apache Hadoop2.2的版本，在使用eclipse进行开发时，也没来得及换版本，理论上最好各个版本，不同发行版，之间对应起来开发比较好，这样一般不会存在兼容性问题，但散仙这次就懒的换了，因为CDH5.x之后的版本，是基于社区版的Apache Hadoop2.2之上改造的，接口应该大部分都一致，当然这只是散仙猜想的。 



（1）首先，散仙要搞定的事，就是解析xml了，在程序启动之前需要把xml解析，加载到一个Map中，这样在处理每种txt时，会根据文件名来去Map中找到对应的schma信息，解析xml，散仙直接使用的jsoup，具体为啥，请点击散仙这篇 
http://qindongliang.iteye.com/blog/2162519文章，在这期间遇到了一个比较蛋疼的问题，简直是一个bug，最早散仙定义的xml是每个表，一个table标签，然后它下面有各个property的映射定义，但是在用jsoup的cssQuery语法解析时，发现总是解析不出来东西，按照以前的做法，是没任何问题的，这次简直是开玩笑了，后来就是各种搜索，测试，最后才发现，将table标签，换成其他的任何标签都无任何问题，具体原因，散仙还没来得及细看jsoup的源码，猜测table标签应该是一个关键词什么的标签，在解析时会和html的table冲突，所以在xml解析中失效了，花了接近2个小时，求证，检验，终于搞定了这个小bug。 


（2）搞定了这个问题，散仙就开始开发调试MapReduce版的处理程序，这下面临的又一个问题，就是如何使用Jsoup解析存放在HDFS上的xml文件，有过Hadoop编程经验的人，应该都知道，HDFS是一套分布式的文件系统，与我们本地的磁盘的存储方式是不一样的，比如你在正常的JAVA程序上解析在C:\file\t.tx或者在linux上/home/user/t.txt，所编写的程序在Hadoop上是无法使用的，你得使用Hadoop提供的编程接口获取它的文件信息，然后转成字符串之后，再给jsoup解析。 


（3）ok，第二个问题搞定之后，你得编写你的MR程序，处理对应的txt文本，而且保证不同的txt里面的数据格式，所获取的scheaml是正确的，所以在map方法里，你要获取当然处理文件的路径，然后做相应判断，在做对应处理。 


（4）很好，第三个问题搞定之后，你的MR的程序，基本编写的差不多了，下一步就改考虑如何提交到Hadoop的集群上，来调试程序了，由于散仙是在Win上的eclipse开发的，所以这一步可能遇到的问题会很多，而且加上，hadoop的版本不一致与发行商也不一致，出问题也纯属正常。 


这里多写一点，一般建议大家不要在win上调试hadoop程序，这里的坑非常多，如果可以，还是建议大家在linux上直接玩，下面说下，散仙今天又踩的坑，关于在windows上调试eclipse开发, 运行Yarn的MR程序，散仙以前也记录了文章，感兴趣者，可以点击这个链接 
http://qindongliang.iteye.com/blog/2078452地址。 


（5）提交前，是需要使用ant或maven或者java自带的导出工具，将项目打成一个jar包提交的，这一点大家需要注意下，最后测试得出，Apache的hadoop2.2编写的MR程序，是可以直接向CDH Hadoop2.5提交作业的，但是由于hadoop2.5中，使用google的guice作为了一个内嵌的MVC轻量级的框架，所以在windows上打包提交时，需要引入额外的guice的几个包，截图如下： 

09101036_kQhn.png 

上面几步搞定后，打包整个项目，然后运行成功，过程如下：  
Java代码   收藏代码
  1. 输出路径存在，已删除！  
  2. 2015-04-08 19:35:18,001 INFO  [main] client.RMProxy (RMProxy.java:createRMProxy(56)) - Connecting to ResourceManager at /172.26.150.18:8032  
  3. 2015-04-08 19:35:18,170 WARN  [main] mapreduce.JobSubmitter (JobSubmitter.java:copyAndConfigureFiles(149)) - Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.  
  4. 2015-04-08 19:35:21,156 INFO  [main] input.FileInputFormat (FileInputFormat.java:listStatus(287)) - Total input paths to process : 2  
  5. 2015-04-08 19:35:21,219 INFO  [main] mapreduce.JobSubmitter (JobSubmitter.java:submitJobInternal(394)) - number of splits:2  
  6. 2015-04-08 19:35:21,228 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - user.name is deprecated. Instead, use mapreduce.job.user.name  
  7. 2015-04-08 19:35:21,228 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.jar is deprecated. Instead, use mapreduce.job.jar  
  8. 2015-04-08 19:35:21,228 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - fs.default.name is deprecated. Instead, use fs.defaultFS  
  9. 2015-04-08 19:35:21,229 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces  
  10. 2015-04-08 19:35:21,229 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.mapoutput.value.class is deprecated. Instead, use mapreduce.map.output.value.class  
  11. 2015-04-08 19:35:21,230 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapreduce.map.class is deprecated. Instead, use mapreduce.job.map.class  
  12. 2015-04-08 19:35:21,230 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.job.name is deprecated. Instead, use mapreduce.job.name  
  13. 2015-04-08 19:35:21,230 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapreduce.inputformat.class is deprecated. Instead, use mapreduce.job.inputformat.class  
  14. 2015-04-08 19:35:21,230 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.input.dir is deprecated. Instead, use mapreduce.input.fileinputformat.inputdir  
  15. 2015-04-08 19:35:21,230 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.output.dir is deprecated. Instead, use mapreduce.output.fileoutputformat.outputdir  
  16. 2015-04-08 19:35:21,230 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapreduce.outputformat.class is deprecated. Instead, use mapreduce.job.outputformat.class  
  17. 2015-04-08 19:35:21,231 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.map.tasks is deprecated. Instead, use mapreduce.job.maps  
  18. 2015-04-08 19:35:21,233 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.mapoutput.key.class is deprecated. Instead, use mapreduce.map.output.key.class  
  19. 2015-04-08 19:35:21,233 INFO  [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(840)) - mapred.working.dir is deprecated. Instead, use mapreduce.job.working.dir  
  20. 2015-04-08 19:35:21,331 INFO  [main] mapreduce.JobSubmitter (JobSubmitter.java:printTokens(477)) - Submitting tokens for job: job_1419419533357_5012  
  21. 2015-04-08 19:35:21,481 INFO  [main] impl.YarnClientImpl (YarnClientImpl.java:submitApplication(174)) - Submitted application application_1419419533357_5012 to ResourceManager at /172.21.50.108:8032  
  22. 2015-04-08 19:35:21,506 INFO  [main] mapreduce.Job (Job.java:submit(1272)) - The url to track the job: http://http://dnode1:8088/proxy/application_1419419533357_5012/  
  23. 2015-04-08 19:35:21,506 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1317)) - Running job: job_1419419533357_5012  
  24. 2015-04-08 19:35:33,777 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1338)) - Job job_1419419533357_5012 running in uber mode : false  
  25. 2015-04-08 19:35:33,779 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1345)) -  map 0% reduce 0%  
  26. 2015-04-08 19:35:43,885 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1345)) -  map 100% reduce 0%  
  27. 2015-04-08 19:35:43,902 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1356)) - Job job_1419419533357_5012 completed successfully  
  28. 2015-04-08 19:35:44,011 INFO  [main] mapreduce.Job (Job.java:monitorAndPrintJob(1363)) - Counters: 27  
  29.     File System Counters  
  30.         FILE: Number of bytes read=0  
  31.         FILE: Number of bytes written=166572  
  32.         FILE: Number of read operations=0  
  33.         FILE: Number of large read operations=0  
  34.         FILE: Number of write operations=0  
  35.         HDFS: Number of bytes read=47795  
  36.         HDFS: Number of bytes written=594  
  37.         HDFS: Number of read operations=12  
  38.         HDFS: Number of large read operations=0  
  39.         HDFS: Number of write operations=4  
  40.     Job Counters   
  41.         Launched map tasks=2  
  42.         Data-local map tasks=2  
  43.         Total time spent by all maps in occupied slots (ms)=9617  
  44.         Total time spent by all reduces in occupied slots (ms)=0  
  45.     Map-Reduce Framework  
  46.         Map input records=11  
  47.         Map output records=5  
  48.         Input split bytes=252  
  49.         Spilled Records=0  
  50.         Failed Shuffles=0  
  51.         Merged Map outputs=0  
  52.         GC time elapsed (ms)=53  
  53.         CPU time spent (ms)=2910  
  54.         Physical memory (bytes) snapshot=327467008  
  55.         Virtual memory (bytes) snapshot=1905754112  
  56.         Total committed heap usage (bytes)=402653184  
  57.     File Input Format Counters   
  58.         Bytes Read=541  
  59.     File Output Format Counters   
  60.         Bytes Written=594  
  61. true  

最后附上核心代码，以作备忘： 
（1）Map Only作业的代码： 
Java代码   收藏代码
  1. package com.dhgate.search.rate.convert;  
  2.   
  3. import java.io.File;  
  4. import java.io.FileInputStream;  
  5. import java.io.FileNotFoundException;  
  6. import java.io.FilenameFilter;  
  7. import java.io.IOException;  
  8. import java.util.Map;  
  9.   
  10. import org.apache.hadoop.conf.Configuration;  
  11. import org.apache.hadoop.fs.FileSystem;  
  12. import org.apache.hadoop.fs.Path;  
  13. import org.apache.hadoop.io.LongWritable;  
  14. import org.apache.hadoop.io.NullWritable;  
  15. import org.apache.hadoop.io.Text;  
  16. import org.apache.hadoop.mapreduce.Job;  
  17. import org.apache.hadoop.mapreduce.Mapper;  
  18. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
  19. import org.apache.hadoop.mapreduce.lib.input.FileSplit;  
  20. import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;  
  21. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  22. import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;  
  23. import org.slf4j.Logger;  
  24. import org.slf4j.LoggerFactory;  
  25.   
  26. import com.dhgate.parse.xml.tools.HDFSParseXmlTools;  
  27. import com.sun.xml.bind.v2.schemagen.xmlschema.Import;  
  28.   
  29. /** 
  30.  * 加工处理数据格式 
  31.  *  
  32.  * @author qindongliang 2015年04月07日 
  33.  *  
  34.  * **/  
  35. public class StoreConvert {  
  36.       
  37.     //log4j记录  
  38.     static Logger log=LoggerFactory.getLogger(StoreConvert.class);  
  39.       
  40.     /** 
  41.      * 转换支持的格式 
  42.      *  
  43.      * **/  
  44.     private static class FormatMapper extends Mapper<LongWritable, Text, NullWritable, Text>{  
  45.           
  46.         @Override  
  47.         protected void map(LongWritable key, Text value,Context context)throws IOException, InterruptedException {  
  48.               String filename = ((FileSplit) context.getInputSplit()).getPath().getName().split("\\.")[0];  
  49.                 
  50.               //System.out.println("文件名是： "+filename);  
  51.               //log.info("读取的文件名是: "+filename);  
  52.               String vs[]=value.toString().split(",");  
  53.                 
  54.               if(HDFSParseXmlTools.map.get(filename)!=null){  
  55.                   Map<String, String> m=HDFSParseXmlTools.map.get(filename);  
  56.                   StringBuffer sb=new StringBuffer();  
  57.                   for(int i=0;i<vs.length;i++){  
  58.                       //字段\2值  
  59.                       if(i==vs.length-1){  
  60.                       sb.append(m.get(i+"")).append("\2").append(vs[i]);  
  61.                       }else{  
  62.                       sb.append(m.get(i+"")).append("\2").append(vs[i]).append("\1");  
  63.                         
  64.                       }  
  65.                   }  
  66.                   context.write(NullWritable.get(), new Text(filename+" ==  "+sb.toString()));  
  67.               }  
  68.                 
  69.               
  70.         }  
  71.           
  72.           
  73.           
  74.           
  75.           
  76.     }  
  77.       
  78.        
  79.       
  80.     public static void main(String[] args) throws Exception {  
  81.           
  82.           
  83. //      System.setProperty("HADOOP_USER_NAME", "root");    
  84.             Configuration conf=new Configuration();    
  85.            // getConf(conf);  
  86.             conf.set("mapreduce.job.jar", "searchrate.jar");    
  87.             conf.set("fs.defaultFS","hdfs://172.21.50.108:8020");    
  88.             conf.set("mapreduce.framework.name", "yarn");      
  89.             conf.set("mapred.remote.os", "Linux");  
  90.             conf.set("yarn.resourcemanager.scheduler.address", "172.21.50.108:8030");    
  91.             conf.set("yarn.resourcemanager.address", "172.21.50.108:8032");  
  92.            // System.exit(0);  
  93.             Job job=Job.getInstance(conf, "formatdata");    
  94.             job.setJarByClass(StoreConvert.class);    
  95.               
  96. //          System.out.println("模式：  "+conf.get("mapreduce.jobtracker.address"));;    
  97.               
  98.               
  99.               
  100.             job.setMapperClass(FormatMapper.class);  
  101.               
  102.             job.setMapOutputKeyClass(Text.class);  
  103.             job.setMapOutputValueClass(Text.class);  
  104.               
  105.             job.setInputFormatClass(TextInputFormat.class);  
  106.             job.setOutputFormatClass(TextOutputFormat.class);  
  107.             job.setNumReduceTasks(0);//Map Only作业  
  108.   
  109.       
  110.            
  111.   
  112.             String path = "/tmp/qin/out";  
  113.             FileSystem fs = FileSystem.get(conf);  
  114.             Path p = new Path(path);  
  115.             if (fs.exists(p)) {  
  116.                 fs.delete(p, true);  
  117.                 System.out.println("输出路径存在，已删除！");  
  118.             }  
  119.             FileInputFormat.setInputPaths(job, "/tmp/qin/testfile/");  
  120.             FileOutputFormat.setOutputPath(job, p);  
  121.               
  122.               
  123.               
  124.               
  125.               
  126.             System.out.println(job.waitForCompletion(true));  
  127.               
  128.               
  129.               
  130.               
  131.               
  132.               
  133.               
  134.               
  135.           
  136.     }  
  137.       
  138.       
  139.   
  140. }  

使用解析HDFS上xml文件的代码：  
Java代码   收藏代码
  1. package com.dhgate.parse.xml.tools;  
  2.   
  3.   
  4.   
  5. import java.io.BufferedReader;  
  6. import java.io.InputStreamReader;  
  7. import java.util.HashMap;  
  8. import java.util.HashSet;  
  9. import java.util.List;  
  10. import java.util.Map;  
  11. import java.util.Map.Entry;  
  12. import java.util.Set;  
  13. import java.util.TreeMap;  
  14.   
  15. import org.apache.hadoop.conf.Configuration;  
  16. import org.apache.hadoop.fs.FileSystem;  
  17. import org.apache.hadoop.fs.Path;  
  18. import org.jsoup.Jsoup;  
  19. import org.jsoup.nodes.Document;  
  20. import org.jsoup.nodes.Element;  
  21. import org.slf4j.Logger;  
  22. import org.slf4j.LoggerFactory;  
  23.   
  24.   
  25. /** 
  26.  * Created by qindongliang on 15-4-6. 
  27.  * 大数据交流群：415886155 
  28.  */  
  29. public class HDFSParseXmlTools {  
  30.     private final static Logger log= LoggerFactory.getLogger(HDFSParseXmlTools.class);  
  31.     //存储元数据信息  
  32.     public static Map<String, Map<String, String>> map=new HashMap<String, Map<String,String>>();  
  33.     static Configuration conf=new  Configuration();    
  34.     static FileSystem fs=null;    
  35.      
  36.       
  37.     static{  
  38.             log.info("初始化加载mapping.xml开始.......");  
  39.  try{  
  40.           
  41.        
  42.            conf.set("fs.defaultFS","hdfs://172.21.50.108:8020/");      
  43.            fs=FileSystem.get(conf);//获取conf对象    
  44.            Path xml =new Path("/tmp/qin/mapping.xml");//读取HDFS的xml文件  
  45.            BufferedReader br=new BufferedReader(new InputStreamReader(fs.open(xml)));//获取输入流  
  46.            StringBuffer sb=new StringBuffer();//声明一个buffer对象用来存储xml文件内容  
  47.            String line;  
  48.            line=br.readLine();//读取第一行  
  49.            sb.append(line);//追加到StringBuffer中  
  50.            while (line != null){  
  51.                    line=br.readLine();//循环读取  
  52.                    sb.append(line);//循环追加  
  53.            }  
  54. //           System.out.println(sb.toString());  
  55.             br.close();//释放资源  
  56.             Document d=Jsoup.parse(sb.toString(),"UTF-8");//解析xml  
  57.             Set<String> set=new HashSet<String>();//排除，不需要解析的文件  
  58.             List<Element> excludes=d.select("exclude");  
  59.              for(Element ee:excludes){  
  60.                  set.add(ee.text().trim());  
  61.              }  
  62.               
  63.             List<Element> tables=d.select("type");  
  64.             for(Element t:tables){  
  65.                 String num=t.attr("num");  
  66.                 String name=t.attr("name");  
  67.                 String indexname=t.attr("indexname");  
  68.                 if(set.contains(name)){  
  69.                     log.info("跳过的表名："+name);  
  70.                     continue;  
  71.                 }  
  72. //                System.out.println(" 序号: "+num+" 表名：  "+name+"   索引名:  "+indexname);  
  73.                 Map<String, String> data=new TreeMap<String, String>();  
  74.                 for(Element s:t.select("map")){  
  75. //                   System.out.println("----------------------"+s.attr("pos")+"  "+s.attr("field")+"  "+s.attr(""));  
  76.                    String pos=s.attr("pos");//位置信息  
  77.                    String field=s.attr("field");//索引字段名  
  78.                    data.put(pos, field);  
  79.                 }  
  80.                 map.put(name, data);//将此表名对应的映射信息存储到map里  
  81.             }  
  82.   
  83.  }catch(Exception e){  
  84.      //e.printStackTrace();  
  85.      log.error("加载映射文件异常!",e);  
  86.  }  
  87.   
  88.     }  
  89.   
  90.   
  91.     public static void parseXml()throws Exception{  
  92.           
  93.           
  94.        
  95.   
  96.   
  97.     }  
  98.   
  99.   
  100.   
  101.   
  102.     public static void main(String[] args) throws  Exception{  
  103.         System.out.println();  
  104.         for(Entry<String, Map<String, String>> m:map.entrySet()){  
  105.             System.out.println("表名："+m.getKey());  
  106. //          for(Entry<String, String> me:m.getValue().entrySet()){  
  107. //              System.out.println(me.getKey()+"         "+me.getValue());  
  108. //          }  
  109.               
  110. //          System.out.println("==================================================");  
  111.         }  
  112.     }  
  113.   
  114.    
  115. }  

项目结构如下图：  


09101036_kkfJ.png 

Ant的打包脚本如下：  
Java代码   收藏代码
  1. <project name="${component.name}" basedir="." default="jar">  
  2.     <property environment="env"/>  
  3.        
  4.     <!-- <property name="hadoop.home" value="${env.HADOOP_HOME}"/>  -->  
  5.        
  6.     <property name="hadoop.home" value="E:/hadooplib"/>    
  7.     <!-- 指定jar包的名字 -->  
  8.     <property name="jar.name" value="searchrate.jar"/>  
  9.     <path id="project.classpath">  
  10.         <fileset dir="lib">  
  11.             <include name="*.jar" />  
  12.         </fileset>  
  13.         <fileset dir="${hadoop.home}">  
  14.             <include name="**/*.jar" />  
  15.         </fileset>  
  16.     </path>  
  17.     <target name="clean" >  
  18.         <delete dir="bin" failοnerrοr="false" />  
  19.         <mkdir dir="bin"/>  
  20.     </target>   
  21.     <target name="build" depends="clean">  
  22.         <echo message="${ant.project.name}: ${ant.file}"/>  
  23.         <javac destdir="bin" encoding="utf-8" debug="true" includeantruntime="false" debuglevel="lines,vars,source">  
  24.             <src path="src"/>  
  25.             <exclude name="**/.svn" />  
  26.             <classpath refid="project.classpath"/>  
  27.         </javac>  
  28.         <copy todir="bin">  
  29.             <fileset dir="src">  
  30.                 <include name="*config*"/>  
  31.             </fileset>  
  32.         </copy>  
  33.     </target>  
  34.       
  35.     <target name="jar" depends="build">  
  36.         <copy todir="bin/lib">  
  37.             <fileset dir="lib">  
  38.                 <include name="**/*.*"/>  
  39.             </fileset>  
  40.         </copy>  
  41.         <copy todir="bin/lib">  
  42.                     <fileset dir="${hadoop.home}">  
  43.                         <include name="**/*.*"/>  
  44.                     </fileset>  
  45.          </copy>  
  46.           
  47.         <path id="lib-classpath">  
  48.             <fileset dir="lib" includes="**/*.jar" />  
  49.         </path>  
  50.           
  51.         <pathconvert property="my.classpath" pathsep=" " >  
  52.             <mapper>  
  53.                 <chainedmapper>  
  54.                     <!-- 移除绝对路径 -->  
  55.                     <flattenmapper />  
  56.                     <!-- 加上lib前缀 -->  
  57.                     <globmapper from="*" to="lib/*" />  
  58.                </chainedmapper>  
  59.              </mapper>  
  60.              <path refid="lib-classpath" />  
  61.         </pathconvert>  
  62.           
  63.         <jar basedir="bin" destfile="${jar.name}" >  
  64.             <include name="**/*"/>  
  65.             <!-- define MANIFEST.MF -->  
  66.             <manifest>  
  67.                 <attribute name="Class-Path" value="${my.classpath}" />  
  68.             </manifest>  
  69.         </jar>  
  70.     </target>  
  71. </project>  

至此，我们以及完成了，这个小项目的开发，最终回归当生产环境上，我们是需要打成jar包，在linux上定时执行的，直接使用linux环境来开发调试hadoop，遇到的问题会更少，虽然不推荐使用win直接开发hadoop程序，但是了解一些基本的方法和技巧，对我们来说也是一件不错的事情。  

转载于:https://my.oschina.net/u/1027043/blog/397717

版权声明：本站所有资料均为网友推荐收集整理而来,仅供学习和研究交流使用。

原文链接：https://hbdhgg.com/1/1511.html

上一篇：PHP 设计模式 笔记与总结（3）SPL 标准库
下一篇：对弈类游戏的人工智能(3)--博弈树优化
标签：hadoop开发教程hadoop开源大数据用的hadoophadoop如何学hadoop大数据开发技术hadoop在业界的应用hadoop ha搭建Hadoop权威指南
hadoop开发教程

发表评论:

最新文章
阅读排行
猜你喜欢
热门标签

本站为非赢利网站，部分文章来源或改编自互联网及其他公众平台，主要目的在于分享信息，版权归原作者所有，内容仅供读者参考，如有侵权请联系我们删除！

Copyright © 2022 匯編語言學習筆記 Inc. 保留所有权利。

底部版权信息