还剩8页未读，继续阅读
本资源只提供10页预览，全部文档请下载后查看！喜欢就下载吧，查找使用更方便
文本内容:
大数据平台运维方案
2.2启动顺序hadoop集群组件启动循序Zookeeper-Hadoop-SparksHive和Sqoop关闭循序Spark、Hive和Sqoop-Hadoop-ZookeeperHbase集群组件启动循序Zookeeper-Hadoop-Hbase-Kafka-KAFKA-MONITOR-zabbix关闭循序:KAFKA-MONITOR-Kafka-Hbase-Hadoop-Zookeeper-zabbix
1.引言概述本文档为大数据平台运维用户的使用手册，主要用于对大数据平台的启动、关闭和检查环境本人数据平台主要配置如下所示:图
1.2配置信息版本信息:Scalascala-
2.
12.5所有大数据组件都部署在子用户下，Hadoop集群子用户为hadoopHbase集群子用户为hbase大数据组件全部通过手动方式搭建，文件目录在/home/hadoop或者/home/hbase下2正文组件信息主要介绍每个组件的信息ZookeeperZookeeper是分布式应用程序协调服务.zookeeper数据存储目录ZK数据目录/home/hadoop/opt/data/zookeeperZK日志目录/home/hadoop/opt/data/zookeeper/zookeeper_logzookeeper所使用的端口
2181、
2888、3888zookeeper使用命令（一级）启动/home/hadoop/zookeeper-
3.
4.5-cdh
5.
10.0/bin/zkServer.shstart查看状态/home/hadoop/zookeeper-
3.
4.5-cdh
5.
10.0/bin/zkCli.sh-serverhadoop:2180检查状态/home/hadoop/zookeeper-
3.
4.5-cdh
5.
10.0/bin/zkCli.shzkServer.shstatus备注执行命令后（比如启动）在当前路径下会生成zookeeper.out文件，里面有相关日志信息HadoopHadoop是一个分布式系统基础架构，主要有HDFS和MapReduce组成，HDFS提供分布式存储，MapReduce提供分布式计算hadoop文件存储目录Hadoop临时文件/home/hadoop/opt/data/hadoop/tmpNamenode数据/home/hadoop/opt/data/hadoop/hadoop_nameDatanode数据/home/hadoop/opt/data/hadoop/hadoop_datajournalnod/home/hadoop/opt/data/hadoop/editsdir/dfs/journalnodenodemanager数据信息/home/hadoop/opt/data/hadoop/nm-local-dirHadoop使用日志/home/hadoop/opt/data/hadoop/hadoop」ogHadoop用户日志/home/hadoop/opt/data/hadoop/userlogs业务数据路径/mnt/sdaL/mnt/sdbL/mnt/sdcL/mnt/sddL/mnt/sdeL/mnt/sdfl等hadoop使用端口
50070、
9000、8088等hadoop使用命令（一级）启动Namenode/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/hadoop-daemon.shstartnamenode关闭Namenode/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/hadoop-daemon.shstopnamenode启动DFS/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/start-dfs.sh关闭DFS/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/start-dfs.sh启动YARN/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/start-yarn.sh关闭YARN/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/stop-yarn.sh启动整个hadoop/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/start-all.sh关闭整个hadoop/home/hadoop/hadoop-
2.
6.0-cdh
5.
10.0/sbin/stop-all.sh备注S/home/hadoop/opt/data/hadoop/hadoopJog中可以查看启动等日志信息HbaseHBase是一个分布式的、面向列的开源数据库Hbase文件存储目录日志文件/home/hbase/opt/data/hbase/logs临时文件/home/hbase/opt/data/hbase/tmpHbase使用端口60010Hbase使用命令（一级）启动hbase/home/hbase/hbase-
1.
2.0-cdh
5.
10.0/bin/start-hbase.sh关闭hbase/home/hbase/hbase-
1.
2.0-cdh
5.
10.0/bin/stop-hbase.sh启动master/home/hbase/hbase-
1.
2.0-cdh
5.
10.0/bin/hbase-daemon.shstartmaster关闭master/home/hbase/hbase-
1.
2.0-cdh
5.
10.0/bin/hbase-daemon.shstopmaster备注每个节点/hme/hbase/pt/data/hbase/lgs/中可以看至lJ启动状态Spark一个专为大规模数据处理而设计的快速通用的计算引擎Spark使用端口8080Spark使用命令（一级）启动spark/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/sbin/start-all.sh关闭spark/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/sbin/stop-all.sh启动worker节点/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/sbin/start-slaves.sh关闭worker节点:/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/sbin/stop-slaves.sh启动master节点/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/sbin/start-master.sh关闭master节点/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/sbin/stop-master.sh启动spark-sql/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/bin/spark-sql启动thriftserver:/home/hadoop/spark-
2.
3.0-bin-hadoop
2.6/sbin/start-thriftserver.shHivehive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行Hive文件存储目录Hive数据/home/hadoop/opt/data/hiveHive的日志/home/hadoop/opt/data/hive/logsHive的Mysql信息Hve的MySQL主副集群为
172.
16.
20.11-12其中
172.
16.
20.11为主数据库据库用户名hive据库密码hiveHive的使用（一级）hive命令/hadoop/hive-
1.
1.0-cdh
5.
10.0/bin/hive启动hive元数据/home/hadoop/hive-
1.
1.0-cdh
5.
10.0/bin/hive—servicemetastorehive_metastore.logSqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以符一个关系型数据库（例如MySQLQradePostgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中sqoop使用（一级）列出mysql数据库中的所有数据库sqooplist-databases-connectjdbc:mysql://localhost:3306/-usernamemysql-password2018KAFKAKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据Kafka文件存储目录Kafka日志/home/hbase/opt/data/kafka/kafka-logsKafka的使用（一级）启动kafka nohup/home/hbase/kafka_
2.12-
1.
0.1/bin/kafka-server-start.sh/home/hbase/kafka_
2.12-
1.
0.1/config/server.properties备注如果不用后台执行，就会滚动打印日志关闭kafka/home/hbase/kafka_
2.12-
1.
0.1/bin/kafka-server-stop.shKafka的使用（二级）1）、创建topic bin/kafka-topics.sh—create—zookeeperhbase01:2181-replication-factor1—partitions1—topictest2）、查看topic bin/kafka-topics.sh—list—zookeeperhbase01:21813）、生产者bin/kafka-console-producer.sh-broker-listhbase01:9092—topictest4）、消费者bin/kafka-console-consumer.sh—zookeeperhbase01:2181—topictest-from-beginningKAFKA-MONITORKafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset你可以通过浏览当前的消费者组，并且每个Topic的所有Partition的消费情况都nJ以观看的一清二楚它让我们很直观的知道，每个Partition的Message是否消贽抻，有木有阻塞等等这个Web管理平台保留的Partition.Offset和它的Consumer的相关历史数据，我们可以通过浏览Web管理的相关模块，清楚的知道最近一段时间的消费情况KafkaOffsetMonitor使用端口18088KafkaOffsetMonitor启动命令一级启动命令java-cpKafkaOffsetMonitor-assembly-
0.
2.
0.jar\com.quantifind.kafka.offsetapp.OffsetGetterWeb\-zkhbase01:2181hbase02:2181hbase03:2181\-port18088\—refreshlO.seconds\—retain
2.days参数含义offsetstoragevalidoptionsarezookeeperkafkaorstorm.Anythingelsefallsbacktozookeeper”zktheZooKeeperhostsportonwhatportwilltheappbeavailablerefreshhowoftenshouldtheapprefreshandstoreapointintheDBretainhowlongshouldpointsbekeptintheDBdbNamewheretostorethehistorydefaultoffsetappkafkaOffsetForceFromStartonlyappliestokafkaformat.ForceKafkaOffsetMonitortoscanthecommitmessagesfromstartseenotesbelowstormZKOffsetBaseonlyappliesto“storm“format.Changetheoffsetstoragebaseinzookeeperdefaultto/stormconsumers”seenotesbelowpluginsArgsadditionalargumentsusedbyextensionsseebelow备注可以将命令写入脚本中.chmod+xkafka-monitor-start.shnohup/home/hbase/KafkaMonitor/kafka-monitor-start.shzabbixzabbix是•个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开嫄解决方案zabbix的数据库数据库为默认的mariadb数据库用户名zabbix数据库密码123456数据库库名zabbixzabbix的启动一级Server节点
172.
16.
20.51systemctlstartzabbix-serversystemctlstartzabbix-agentsystemctlstarthttpdagent节点:
172.
16.
20.1112212223515253systemctlstartzabbix-agentUser AdminPasswordzabbix1侬主机名IPHadoop集群W连节点（2台）hadoopManagerOI
172.
1620.11HIVEMYSQLSQOOPhadoopMandger
02172.
16.
20.12NameNodenaaoop、UrZKraiioverLonroitefhadoop、ResourceManagerhadoopMYSQLHad8P集群8sg三点（3台）hadoopOl
172.
1620.21JournalNodehadoopDataNodehadoop.QuorumPeerMainZookeeperSPARKma$ter.workerlNodeManagefhadoophadoopOl
172.
1620.22hadoop
02172.
1620.23H群管理可点（2台）hba5eManagerOI
172.
1620.51NameNodehadoop、DFSZKFattoverControllerhadoop、Re5ourceManagerhadoop.HmasterhbdseKafkaOffsetMonitorzabbixhbaseManagerO
2172.
16.
20.52Hbasejf群数据节点（3台）hbaseOl
172.
1620.61JournalNodehadoopDataNodehadoop・ZookeepecHReglonServerhbase.KAFKANodeManagerhadoophbaseO
2172.
1620.62hbaseO
3172.
1620.63Hadoophadoop-
2.
6.0-cdh
5.
10.0Hbasehbase-
1.
2.0-cdh
5.
10.0Hivehive-
1.
1.0-cdh
5.
10.0Sparkspark-
2.
3.0-bin-hadoop
2.6Sqoopsqoop-
1.
4.6-cdh
5.
10.0Zookeeperzookeeper-
3.
4.5-cdh
5.
10.0KAFKAkafka_
2.12-
1.
0.1KAFKA-MONITORKafkaOffsetMonitor-assembly-O.
2.1JDKjdk-8ul62-linux-x64Mysqlmysql-
5.
7.21-l.el
7.x86_
64.rpm-bundlemysql-connector-java-
5.
1.46。
个人认证
优秀文档
获得点赞 0
