大数据技术基础实验报告-MapReduce编程

大数据技术基础实验报告编程-MapReduce实验内容

（一）安装Hadoop-Eclipse-Plugin要在上编译和运行程序，需要安装可下载Eclipse MapReducehadoop-eclipse-plugin,上的下载后，将中的Github hadoop2x-eclipse-plugin release复制到安装目录的文件夹中，运hadoop-eclipse-kepler-plugin-

2.

6.

0.jar Eclipseplugins行重启即可（添加插件后只需要运行一次该命令，以后按照正常eclipse-clean Eclipse方式启动就行了）/下载#解压到/下载中unzip-qo/TWhadoop2x-eclipse-plugin-master.zip-d〜〜/下载sudo cp〜/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-

2.

6.

0.jar#复制到安装目录的目录下/usr/lib/eclipse/plugins/eclipse plugins#添加插件后需要用这种方式使插件生效/usr/lib/eclipse/eclipse-clean配置在继续配置前请确保已经开启了Hadoop-Eclipse-Plugin Hadoop启动后就可以在左侧的中看到（若看到的是Eclipse Project Explorer DFSLocations界面，点击左上角的关闭就可以看到了需要切换后才welcome xCentOS Perspective能看到，即接下来配置步骤的安装好插件后的效果安装好插件后的效果Hadoop-Eclipse-Plugin Hadoop-Eclipse-Plugin插件需要进一步的配置第一步选择菜单下的Window Preference第二步切换开发视图，选择菜单下选择Map/Reduce WindowOpen Perspective-Other（是）弹出一个窗体，从中选CentOS Window-Perspective-Open Perspective-Other,择选项即可进行切换Map/Reduce第三步建立与集群的连接，点击软件右下角的Hadoop EclipseMap/Reduce Locations面板,在面板中单击右键，选择New HadoopLocationo建立与集群的连接建立与集群的连接Hadoop Hadoop配置好后，点击左侧中的（点击三角形展开）就Project ExplorerMapReduce Location能直接查看中的文件列表了（中要有文件，如下图是的输出结HDFS HDFSWordCount果），双击可以查看内容，右键点击可以上传、下载、删除中的文件，无需再通HDFS过繁琐的等命令进行操作了hdfs dfs-Is以下文件记录了输出结果点击查看文件系统数据的三种方output/part-r-00000HDFS法可进行扩展学习使用查看中的文件内容使用查看中的文件内容Eclipse HDFS Eclipse HDFS如果无法查看，可右键点击尝试或重启Location ReconnectEclipseTips中的内容变动后，不会同步刷新，需要右键点击中的HDFS Eclipse Project Explorer选择才能看到变动后的文件MapReduce Location,Refresh,在中创建项目Eclipse MapReduce点击菜单，选择File New-Project---:仓建仓建ll Projectll Project选择点击Map/Reduce Project,Next创建项目创建项目MapReduce MapReduce填写为即可，点击就创建好了项目Project nameWordCount Finish填写项目名填写项目名此时在左侧的就能看到刚才建立的项目了Project Explorer项目创建完成项目创建完成接着右键点击刚创建的项目，选择WordCount New-Class新建新建Class Class需要填写两个地方在处填写；在处填写Package NameWordCounto填写信息填写信息Class Class创建完成后，在的中就能看到这个文件将如下Class Projectsrc WordCount.java的代码复制到该文件中WordCount通过运行Eclipse MapReduce实验基本过程安装1Hadoop-Eclipse-Plugin启动后就可以在左侧的中看到（若看到的是2EclipseProject Explorer DFSLocations界面，点击左上角的关闭就可以看到了需要切换后才welcome xCentOS Perspective能看到，即接下来用置步骤的_安装好插件后的效果安装好插件后的效果Hadoop-Eclipse-Plugin Hadoop-Eclipse-Plugin插件需要进一步的配置第一步选择菜单下的Window Preference第二步切换开发视图，选择菜单下选择Map/Reduce WindowOpen Perspective-Other（是）弹出一个窗体，从中选CentOS Window-Perspective-Open Perspective-Other,择选项即可进行切换Map/Reduce第三步建立与集群的连接，点击软件右下角的Hadoop EclipseMap/Reduce Locations面板,在面板中单击右键，选择New HadoopLocationo建立与集群的连接建立与集群的连接Hadoop Hadoop实验结果:£1Problems@Tasks@Javadoc Map/Reduce Locations@Console汉terminated WordCount[Java Application]/usr/lib/jvm/java-7-openjdk-amd64/bin/ja\Physical bytessnapshotsVirtual memorybytes snapshotsTotalcomitted heapusa^je bytes=9197584384Shuffle ErrorsBADJDOa™cmcN=oI0-ERRXTOJG_REDia=OFile I磔ut FonnatCountersBytes RBad=45904File OutputFormat ChuntersBytes陆itterF249ET7疑难小结（总结实验中遇到的问题）启动之后立即又关闭HMaster问题分析可能是■不稳定造成的，zookeeper解决办法停止服务zookeeper bin/zkServer.sh stopzool.cfg bin/zkServer.sh stopzoo

2.cfg再重新启动bin/zkServer.sh stopzoo

3.cfg,二15/08/2311:10:07INFO mapreduceJobSubmitter:Cleaning upthe stagingareafile:/usr/local/hadoop/tmp/mapred/staging/thinkgamerl735608800/.staging/jobjocall735608800_0001无法访问Exception inthread main”ExitCodeException exitCode=l:chmod:/usr/local/hadoop/tmp/mapred/staging/thinkgameriySSeOSSOO/.staging/jobJocal1735608800_0001H:没有那个文件或目录问题分析eclipse的配置文件缺少解决办法把配置口寸所修改的配置文件全部复制到文件夹下hadoop src—*■■▲■Exception inthread main”org.apache.hadoop.mapred.FileAlreadyExistsException:Output directoryhdfs://localhost:9000/thinkgamer/output alreadyexists问题分析文件系统中的文件夹已经存在hdfs output解决办法删除即可同时还可能出现找不到目录的问题，此时注意检查路input input径主要操作过程配置好后，点击左侧中的（点击三角形展开）就ProjectExplorerMapReduce Location能直接查看中的文件列表了（中要有文件，如下图是的输出结HDFS HDFSWordCount果），双击可以查看内容，右键点击可以上传、下载、删除中的文件，无需再通HDFS过繁琐的等命令进行操作了hdfs dfs-Is中的内容变动后，不会同步刷新，需要右键点击中的HDFSEclipseProjectExplorer选择才能看到变动后的文件MapReduce Location,Refresh,在中创建项目Eclipse MapReduce点击菜单，选择File New-Project...:填写为即可，点击就创建好了项目Project nameWordCount Finish接着右键点击刚创建的项目，选择WordCount New-Class需要填写两个地方在处填写；在处填写Package NameWordCounto创建完成后，在的中就能看到这个文件Class Projectsrc WordCount.java将的代码复制到该文件中WordCount通过运行Eclipse MapReduce在运行程序前，还需要执行一项重要操作（也就是上面提到的通过复制配MapReduce置文件解决参数设置问题）将中将有修改过的配置文件/usr/local/hadoop/etc/hadoop（如伪分布式需要和）,以及core-site.xml hdfs-site.xml复制至项目下的文件夹Iog4j.properties UWordCount src（）中^/workspace/WordCount/src没有复制这些文件的话程序将无法正确运行，本教程最后再解释为什么需要复制这些文件复制完成后，务必右键点击选择进行刷新（不会自动刷新,需要手WordCount refresh动刷新），可以看到文件结构如下所示点击工具栏中的图标，或者右键点击中的选择Run ProjectExplorer WordCount.java,Run就可以运行程序了不过由于没有指定参数，运行时As-Run onHadoop,MapReduce会提示，需要通过设定一下运行参数Usage:wordcount Eclipse右键点击刚创建的选择在此处可以设置运WordCount.java,Run As-Run Configurations,行时的相关参数（如果下面没有那么需要先双击Java ApplicationWordCount,Java）切换到栏，在处填写就可Application Arguments”Program argumentsinput output以了至此，就可以使用方便的进行程序的开发了Eclipse MapReduce。