大数据hadoop实训报告

大数据实训报告hadoop摘要本文旨在报告完成的一次Hadoop实训活动的过程，总结使用Hadoop的运行特点，以及对大数据分析运行的经验总结本次实训中，学习者使用Hadoop与Hive进行数据清洗，数据建模以及分析，熟练掌握了Hadoop技术的应用，并获得了一定的数据分析和处理能力关键词Hadoop；据分析；据清洗；Hive

1.言近年来，随着物联网、云计算及大数据技术的飞速发展，大数据已经成为当今经济发展的最重要的基础设施，大数据的处理和分析已经不可忽视Hadoop平台是当今大数据平台的主流，拥有众多企业用户，并且在很多行业取得了重大成绩，如金融、医疗等本文就Hadoop作为一种新兴联想大数据技术，介绍了一次Hadoop实训活动的流程及结果，同时从中总结出了运行Hadoop平台的经验和能力

2.法本次实训是在一起Hadoop项目实施中，安排的一次实训活动该项目的目的是将现有的数据进行清洗，重新建模，实现大数据分析及挖掘实训活动的内容包括1Hadoop的安装及配置学习者安装并完成了Hadoop的配置，学会了在Linux环境下，利用Hadoop的众多命令来构建系统环境2Hive的使用学习者在了解了Hive的功能与作用之后，学会了应用Hive将原始数据集清洗，以及实现数据建模，分析等功能3大数据分析学习者运用Hadoop,实现了数据的分析，熟练掌握了批处理、流式处理等技术，实现了实际环境中的大数据分析

3.果实训结果显示，学习者可以熟练运用Hadoop及Hive进行大数据的清洗、建模及分析使用Hadoop进行数据处理时，学习者发现，自主开发编写mapreduce程序，运行结果比使用hive运行更快；说明在构建系统环境时，合理运用技术可以大大提升Hadoop的运行效率

4.结论本次实训活动比较成功的完成了Hadoop及Hive的安装、使用及数据分析挖掘的任务，使学习者在实战中积累了一定的数据分析及处理能力，同时总结出运行Hadoop平台的经验，提升了学习者的应用能力。