hadoop实验报告范本

杆向口□卬）011;I基于的大规模文本处理技术实验ha d o op专业班级软件1102学生姓名:张国宇学号201116040221S etup Hadoopon Ub u ntu1l0464-b iot提示前面的软件安装省略；直接进入的安装putty JDK＜安装

1.I nstallSun JD KJDK由于Sun JDK在ubuntu的软件中心中无法找至U,我们必须使用外部的PP A打开终端并且运行以下命令sudo add-a pt—rep ository ppa:ferr amr o be r to/j avas ud o a pt-get upda t esud oapt—get i n s t a II sun-ja v a6—b insud oap t-get i nstall sun—java6—j dk〈配置环境变量〉Add JAVA_HOME var iable先输入粘贴下面文字sudo vi/e tc/e nv iro nment再将下面的文字输入进去:按键添加，键退出,保存退出;如下图i es cX，exp or tJAVA_HOME=7us r/lib/j vm/jav a—6-sun—

1.

6.0M26图ubuntu«ip-10-204-201-22:QATH=n/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/q|p|antesn.export JAVA_HOME=n/usr/lib/jvm/java-6-sun-l.

6.

0.26In/etc/environmentw2L131C AllrT est thesucc ess of ins t a1I at i o ninTe r mi na1〈在终端测试安装是否成功〉sudo./e tc/en vironme n tja va-ver s io n〈检查的设置〉

2.Check SS HSetting sshss h1o calhost如果出现〃,你最好重新安装（如下命c o nnec t ion r efus ed ss h令可以安装）sudo apt—get inst all op e nssh-server openssh-client如果你没有通行证到主机，执行下面的命令sshssh—ke yg e n—t dsa-P八—f〜/.ssh/id_dsac at ssh/id_dsa pub〜/.ssh/autho rize d_k eys〈安装3o SetupH ado o p hadoop安装ap ache25udo ap t—get install apac h e2下载ha d oop sudowge th t t p://ap ache csUtah.edu/hadoop/co mmon/hadoop-

1.04/h adoo p-1oo o

0.

4.tar.g z解压所下载的文件包hado opta rxvfz h a doop-lo

04.t ar.gz下载最近的一个稳定版本，解压编辑/一定h a doo penVo sh5C一〃作为java_hom e“use/1i br a ry/ja va6—sunT

60.26h adoo pO的根目录S udoviconf/ha do op—e nvsh将以下内容加到文件最后:Required.exp ort JAVA_HOM E=/usr/1i b/jvm/java—6—sun-

1.6o

0.26〈伪Pseudo-Distribut ed OperationS in g1e—Node Clust er#The java imp1ement at ion to use分布式操作（单节点集群）〉将下面中间部分插入（得到如图:）世xml version^_・0”xml-stylesheet type-ntexc/xs1n href=ncorconfigurationpropertynamefs.default・name/namevaluehdfs://localhost:9000/value〈/property〉/configuration——INSERT——12,1Allcat con f/core—site xml:con f i g urati o nproperty〈/〉n amefs.d efau It.n amenamev alueh dfs://lo calhos t9000/value〉/proper t y〈/conf ig urat ioncat c onf/h dfs—site xml:oco nfigurat ionproper tyn amedf s.replic ation/n ame valuel/value/property/co nfigur ationcat conf/mapre d-si texml:oconfigurationprop erty〈n ame mapred job.t r ac ker/name valueloc alhoost:9001/va1ue/pr operty/conf igurationSwitch toha do op rootd irectory andformata newdistr ibut ed fi Iesys tem〈转向根目录，格式化一个新的文件分布式系统〉bin/h adoo pnamenode-f orm at注意:这一步一定不能掉，否则后面会出错！〃Y ou IIget infolik eS torag ed irec to ry/tmp/hadoop—u buntu/dfs/n amehas beens uccessfu llyf ormattedo”R eme mberth ispa thi sthe HD F你会得到提示你已经成功格式化.S homedi r e ct oryo fname nod eo启动和终止进程.Star tand stophadoopda emonsb in/sta rt—a11sh sta rtthe h adoo pobin/stop—a1L shstop thehadoo pWeb int erfaces forthe NameNode and the Job Tracke r:八=〉NameNode-http:/oca1h ost:50070/http://[I Paddres sd oma inname]:50070提示:如果前面没有格式化成功，这个网址会出现就不去的现象!!!如果进不去就先结束进程，重新格式化然后再开始进程J ob Traeke r-h11p://loc aIho st:50030/=http//[IP address|d omain nam e]:50030〈布置4o De ployA nExample Map—R edu ceJobMa-reduce的一个例子〉J ob创建路径”/h ome/ubuntu/ma predu ce/word cou nt/”，并在该目录下放置文本文件worl dco unt.txt然后将这些文件复制到HDFS目录b in/h adoo pdf s—co py Fr omLocaI/home/u buntu/mapreduce/wordcoun t/tmp/hadoo p—ubuntu/d fs/name/w ordcountb in/h adoopdf s—Is/tm p/hadoop-u buntu/d fs/n ame/word countRun thejob:b in/had oopjar hadoop*exampl es*ja rw ordcount/tm p/hado oop—ubuntu/dfs/n ame/word count/tmp/hadoop-u buntu/d fs/name/wo rdcoun t—ou tpu tIfthe out p utinfo1ook sno problem,copy theoutput fi Iefrom HDFS如果输出信息看起来没有问题，从输出复制to loca1direct oryV HDFS文件到本地目录的〉bin/had oopd fs—ge tme rg e/tm p/ha doop-ubuntu/dfs/name/wordco unt—ou tput/h ome/ubu ntu/mapr educe/w ord co unt/Now youcan op enthe outputfiIe iny ourloca1di rec tor yto viewthe res〈现在你可以打开输出文件在您的本地目录查看结果＞.u Its实验总结、在实验过程中，发现对系统命令还不够熟练，在下面还需1linux要多加练习；、感觉自己的基础水平还是不能达到自己满意程度，感觉对于很2多东西都还是未知的，对于新的知识了解甚少，这个还需要在下面下很大的功夫；、和了解的比较少，所以有些实验内容不能够实现3Java python。