昆山环保局空气质量检测平台云计算平台解决方案49

空气质量监测云计算平台解决方案修改记录日期版本修改要点修改者注释初始版本注版本升级时，要注明缘故，和要紧的更改内容名目空气质量检测平台方案概述

1.南京云创存储的空气质量监测方案，是基于云计算的大气质量监测平台，前端通过特征因子监测设备和空气质量两套监测设备能够监测大气污染中的空气质量,pml,SO2,NO2等大气中污染因子通过海量数据的科学数据分析比照得到要紧的反映局部区域的相关参考值，从而和宏瞧上反映都市的整体的空气质量的监测站点的监测方式形成互补背景

1.1目前许多都市的环境监测中心站点较少，分布分散，环境监测的数据仅从宏瞧上反映都市的整体的空气质量，然而不能从微瞧上反映局部区域、特定区域的空气质量的好尽管空气中不同大小的颗粒物均能落低能见度，只是相比于粗颗粒物，更为细小的空气质量落低能见度的能力更强能见度的落低事实上质上是可见光的传播受到阻碍当颗粒物的直径和可见光的波长接近的时候，颗粒对光的散射消光能力最强可见光的波长在微米之间，而粒径在那个尺寸四周的颗粒物正是空气质量的要紧组成局部理论计算的数据也清晰地讲明这一点粗颗粒的消光系数约为平方米/克，而空气质量的消光系数那么要大得多,在平方米/克之间,其中空气质量的要紧成分硫酸镂、硝酸铁和有机颗粒物的消光系数都在3左右，是粗颗粒的5倍因此，空气质量是灰霾天能见度落低的要紧缘故目前国内外环保部门监测空气质量普遍采纳滤膜称重、B射线汲取和微量振荡天平等方法除了以上三种测试方法外,还有利用光散射的原理测定颗粒物浓度的方法该测定方法的原理是空气中的颗粒物浓度越高，对光的散射就越强测定光的散射后，就能够算出颗粒物浓度该测试方式测定速度快，自动化程度高，操作简单本次设备使用的是红外光散射法来进行测试相关的数据通过相关的探头来进行采集相关的数据通过采集的通道利用红外光散射来进行猎取颗粒浓度采集空气的通道有固定的加热源，通过加热源来进行空间的动态的采集将相关的颗粒浓度转换成相关的数据通过无线通信进行数据传输通信局部前端设备的通信要紧是通过GPRS进行数据的无线传输具体的数据传输的网络示意图详见图10o图1OGPRS数据传输数据在前端设备基于TCP/IP协议，通过GPRS的数据传输，通过移动网络传输数据，利用公网的效劳器同意数据，然后将数据进库后，进行数据的处理，最后通过WEB效劳器将数据展现出来注重:每个前端设备有一个需求商的SIM卡进行数据通信，该SIM卡需要有GPRS业务,同时使用的地点必须有需求商的信号例如使用中国移动的SIM卡，该卡需要有GPRS的业务，同时放置空气质量测试前端的地点需要有中国移动的信号才能够正常的通信电源局部.5供电方式有两种种，一种是锂电池和市电互补的供电方式，另一种是太阳能供电供电方式太阳能供电太阳能供电方式是基于太阳能进行可持续性的充电，从而防止了提供充电或者接进市电的情况太阳能供电是利用蓄电池和太阳能互补的方式进行供电，通过太阳能操纵器来进行互补在太阳能供电不能满足供电需求的时候，利用蓄电池进行供电利用20W的太阳能板，在一定的环境中，能够满足设备的供电要求蓄电池的规格是12V电压,20Ah的规格，在完全没有太阳能的情况下，能够支持3*24h的无间断供电该供电方式同时提供电压监测功能具体的实物详见图12图12太阳能供电方式的前端设备实物图锂电池供电锂电池供电方式是基于市电能够提供的情况下进行的假如部署的空气质量设备四周有市电，如此能够方便进行充电或者是市电和锂电池进行互补方式进行供电同时进行对电池进行电压监测，检测供电电压是否正常，电源供电是否正常锂电池是12V电压,50Ah的规格，能够在没有充电或者没有市电互补的情况下持续10*24h的供电具体的实物见图llo图11锂电池供电方式的前端设备实物图部署安装方式

3.3在都市的不同区域布局并有效使用空气质量的监测系统，从而能够对比全面地把握都市不同区域，在不同时刻段、不同气候特点（包括气温、风向、季节）下的空气质量的实时监测数据空气质量环境监测系统环境数据采集设备采纳先进的传感器、低功耗单片机技术和网络通讯技术相结合，可提供方便的数据查询方式，直截了当通过扫瞄器能够直截了当访咨询测试数据目前环境监测站的监测设备一般部署在离地面高度20m-25m之间，而云创存储的空气质量环境监测系统环境监测设备依据实际的情况来进行部署设备小巧，部署方式灵活,能够部署在电线杆等公共设施上具体见图4图4部署在电线杆上前端设备.后端云监测平台4工程需求针对本次环保局要紧是监测大气中的环境数据，要做到实时性强，数据量大，还有总能做到海量历史数据挖掘的可扩展性，监测数据要紧存储结构化数据建设适合存储容量数据平台，吞吐量需求为满足现在多个监测终端实时上传数据的需要和应用整体吞吐带宽和高并发需要，确保数据访咨询流畅，系统需提供多用户或应用高并发访咨询、高吞吐带宽设计，系统能够有效利用各机器的物理资源，性能可通过规模增加实现平滑增长扩展性需求将来依据空气质量监测平台业务应用的变化和开展，需要快速实施系统资源的升级,能够在业务效劳不间断的状态卜平滑扩展，可不能导致架构发生全然性变化，为不断产生和变化的业务需求提供持续的支持，支持业务系统的快速整合和部署对核心系统根底架构的特殊要求低本钞票需求要求系统能够以低硬件本钞票、低维护本钞票实现高可靠高性能应用要求，充分提高资源利用率，简化治理，并能灵活、可持续扩展可维护性需求要求系统具有自习惯治理能力，安装、维护、升级简易方便，提供统一易用的WEB配置治理监控平台,实现智能化治理接口需求要求能够提供通用的标准sql和编程接口，方便用户及应用系统访咨询，减少与应用集成或开发工作量，实现系统快速部署与集成系统总体设计系统平台总体架构图如以下图所示通过前端采集设备采集的空气特征参数能够将系统优势和特点优异性能云存储采纳操纵流与数据流不离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，如此随着存储节点数目的增多,整个系统的吞吐量和10性能将呈线性增长同时,云存储采纳负载均衡技术，自动均衡各效劳器负载，使得各存储节点的性能调节到最高，实现资源优化配置无限容量能够出来海量的环境监测数据，可支撑的容量接近无限，经推算，理论容量为1024X1O24X1O24PB（1G个PB容量）在线伸缩云存储资源治理系统扩容特不方便，支持不停止效劳的情况下，动态参加新的存储节点,无需任何操作，即实现扩容；同时,无需人为干预,也能够摘下任意节点,系统自动缩小规模而不丧失数据，存储在此节点上的数据将会重新备份到其他节点上通用易用云存储系统提供专用的API接口，供开发人员调用智能治理提供基于WEB的治理操纵平台，所有的治理工作均由数据立方一体机治理模块自动完成，使用人员无需任何专业知识便能够轻松治理整个系统通过治理平台，能够对数据立方中的所有节点实行实时监控，用户通过监控界面能够清晰地了解到每一个节点的负载、存储和运行情况系统组成架构在本次云建设中，分布式文件系统属于根底平台支撑层，以用于数据集中存储和共享，实现对数据的统一治理和高效应用；分布式数据立方属于分布式数据库层，用于结构化和非结构化数据的高性能访咨询；分布式计算和Hive那么基于云存储进行大规模的高性能的并发计算和数据的挖掘下面具体讲明各系统的全然组成和要紧功能存储层全然组成.1分布式文件系统分布式文件系统被设计为将海量文件存储在一个大集群的多台计算机上分布式文件系统将每一个文件以分块序列的形式进行存储，一个文件的所有分块除往最后一个分块外基本上等大小的为了实现容错将文件分块进行自动复制文件分块的块大小和复制比例基本上能够按照单个文件进行配置的0分布式文件系统中的所有文件基本上“只写一次〃同时严格限定在任何时候只有一个写文件操作者分布式文件系统是云计算框架的分布式并行文件系统，是分布式计算的存储基石负责数据分布式存储及数据的治理，并能提供高吞吐量的数据访咨询分布式文件系统的全然特征如下⑴关于整个集群有单一的命名空间2文件会被分割成多个文件块，每个文件块被分配存储到数据节点上，而且依据配置会有复制的文件块来保证数据平安性⑶数据一致性适合一次写进屡次读取的模型，客户端在成功创立文件之后，才能瞧到文件的存在4云计算，包括分布式文件系统，特不适合在廉价机器上的分布式存储和分布式处理它是容错的、可伸缩的、特不易于扩展同时，以简单性和适用性著称的分布式计确实是基本云计算不可缺少的重要组成局部⑸分布式文件系统的默认配置适合于大多数安装的应用通常情况下，只有在一个特不大规模的集群上才需要修改默认配置⑹支持shell命令行风格的分布式文件系统名目交互⑺分布式文件系统是用java编写的，可广泛运行在多种软硬件平台上8分布式文件系统经常性地实现新的特性和革新9Namenode和DataNode都内建了Web效劳器，能够方便地查瞧集群的状态分布式文件系统的体系框架是Master/Slave结构，一个典型的分布式文件系统通常由单个Namenode和多个DataNode组成Namenode是一个中心效劳器，负责文件系统的名字空间的操作，比方翻开、关闭、重命名文件或名目，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控DataNode的心跳和维护数据块副本的个数集群中的DataNode一般是一个节点一个，负责治理它所在节点上的存储分布式文件系统显露了文件系统的名字空间，用户能够以文件的形式在上面存储数据从内部瞧，一个文件事实上被分成一个或多个数据块，这些块存储在一组DataNode上DataNode负责处理文件系统客户端的读写请求在Namenode的统一调度下进行数据块的创立、删除和复制所有对名目树的更新和文件名和数据块关系的修改，都必须能够持久化，文件在分布式文件系统中存储图如图分布式文件系统结构分布式文件系统涉及到Namenode、DataNode和客户端们之间的交互实质上，客户端与Namenode通讯是通过猎取或者修改文件的元数据，与DataNode进行实际的I/O操作如图13所示，在分布式文件系统中有三个重要的角色NamenodeDataNode和Client,其中Client确实是基本需要猎取分布式文件系统文件的应用程序那个地方通过三个操作来讲明他们之间的交互关系1文件写进首先Client向Namenode发起文件写进的请求，Namenode依据文件大小和文件块配置情况，返回给Client它所治理局部DataNode的信息Client将文件划分为多个Block,依据DataNode的地址信息，按顺序写进到每一个DataNode块中2文件读取Client向Namenode发起文件读取的请求，Namenode返回文件存储的DataNode的信息Client依据返回的信息读取DataNode上的文件信息3文件Block复制Namenode发觉局部文件的Block不符合最小复制数或者局部DataNode失效,通知DataNode相互复制BlockDataNode收到通知后开始直截了当相互复制分布式文件系统Namenode、DataNode和客户端们之间的交互系统全然组成.2JobkeeperJobkeeper的系统架构如以下图所示＞上图中对jobkeeper进行了分层，对每层进行具体阐述＞虚拟化资源层将机器进行虚拟化，形成更大范围的效劳集群＞存储层存储数据的处理结果集或其他中间结果集的单元＞数据处理层独立的数据处理程序，是对不同需求数据的统一处理方案，由JobKeeper调度平台进行统一的配置治理业务层关于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规那么化划分，形成统一的处理化模式应用层一组用于治理和结果相应的显示组件是整个系统面向用户和开发人员的根底承载JobKeeper的任务分发流程如以下图所示JobKeeper任务分发流程图当用户在应用层下发任务给治理节点，治理节点调度机器采集机器节点的信息,依据具体的算法选取最优节点并分发任务，接下来具体的处理节点接收到任务并处理同时将结果返回给治理节点，治理节点整理汇总处理结果，而后返回给应用层效劳器节点组负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保留,对应的信息镜像存储在基于cStor或者NFS效劳的存储系统上处理节点组通过RPC的远程调用猎取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行比照，操纵程序的执行和结束处理节点组会在一个设定的心跳间隔内主动的和治理节点组联系一次，报告节点存活状态分布式数据立方系统全然组成,3分布式数据立方，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用分布式数据立方技术可在廉价PCServer上搭建起大规模结构化存储集群其目的是处理庞大的表，能够用一般的计算机处理10亿行数据，同时有数百万列元素组成的数据表这张表的索引是行要害字分布式数据立方能够直截了当使用本地的文件系统和云计算作为数据存储方式，只是为了提高数据的可靠性和系统的健壮性，发扬分布式数据立方处理大数据量等功能，需要使用云计算作为文件系统

1.数据模式分布式数据立方类似Bigtable的分布式数据库，是一个稀疏的，长期存储的，多维的,排序的映射表.这张表的索引是行要害字，列要害字和时刻戳每个值是一个不解释的字符数组，数据基本上字符串，没类型用户在表格中存储数据，每一行基本上一个可排序的主键和任意多的列由因此稀疏存储的，因此同一张表里面的每一行数据都能够有截然不同的列列名字的格式是〃family:〈lable〃，基本上由字符串组成，每一张表有一个family集合，那个集合是固定不变的，相当于表的结构，只能通过改变表的结构来改变然而lable值相关于每一行来讲基本上能够改变的分布式数据立方把同一个family里面的数据存储在同一个名目底下，而分布式数据立方的写操作时锁行的，每一个基本上一个原子元素都能够加锁所有数据库的更新基本上一个时刻戳标记，每个更新基本上一个新的版本，而分布式数据立方会保留一定数量的版本，那个值是能够设定的客户端能够猎取距离某个时刻最近的版本，或者一次猎取所有版本

2.概念视图分布式数据立方以表的形式存储数据表有行和列组成列划分为假设干个列族rowfamilycolumn-familyl column-family2column-famil y3RowKeycolumncolumnl column2columnl columnscolumnl2t1:abc t4:dfadskeyl t2:gdxdf t3:hellot2:worldt2:dfdsft3:abc t4:dfadskey2at3:dfdftl:gdxdf t3:hellot2:dfadfas dt2:dfxxdfasdtl:dfdasdd sfkey3tl:taobaoRowKey与nosql数据库们一样,rowkey是用来检索记录的主键访咨询分布式数据立方table中的行，只有三种方式1通过单个rowkey访咨询2通过rowkey的range3全表扫描Rowkey行键Rowkey能够是任意字符串最大长度是64KB,实际应用中长度一般为10-100bytes,在分布式数据立方内部，rowkey保留为字节数组列族分布式数据立方表中的每个列，都回属与某个列族列族是表的chema的一局部（而列不是），必须在使用表之前定义列名都以列族作为前缀例如courses:history,courses:math都属于courses那个列族时刻戳分布式数据立方中通过row和columns确定的为一个存贮单元称为cello每个cell都保留着同一份数据的多个版本版本通过时刻戳来索引时刻戳的类型是64位整型时刻戳能够由分布式数据立方（在数据写进时自动）赋值，如今时刻戳是精确到毫秒的当前系统时刻时刻戳也能够由客户显式赋值假如应用程序要防止数据版本冲突，就必须自己生成具有唯一性的时刻戳每个cell中，不同版本的数据按照时刻倒序排序,即最新的数据排在最前面Cell由｛rowkey,column（=family+label）,version｝唯一确定的单元cell中的数据是没有类型的，全部是字节码形式存贮

3.物理存储ITable中的所有行都按照rowkey的字典序排列2Table在行的方向上分割为多个Hregiono3region按大小分割的，每个表一开始只有一个region,随着数据不断插进表，region不断增大，当增大到一个阀值的时候，Hregion就会等分会两个新的Hregiono当table中的行不断增多，就会有越来越多的Hregion4Hregion是分布式数据立方中分布式存储和负载均衡的最小单元最小单元就表示不同的Hregion能够分布在不同的HRegionserver上但一个Hregion是可不能拆分到多个server上的5HRegion尽管是分布式存储的最小单元，但并不是存储的最小单元事实上，HRegion由一个或者多个Store组成，每个store保留一个columnsfamilyo每个Strore又由一个memStore和0至多个StoreFile组成如图:坏，这就需要建设更多的环境监测站点，提供更多的实时的环境监测数据国外一套空气质量环境监测仪器价格在10万美金，国产价格在10万人民币，价格珍贵建设更多的环境监测站点需要巨大的资金投进，本钞票太高而廉价的空气质量环境监测系统价格大约在1万人民币，能够解决资金投进咨询题，同时满足一定的测量精度，和现有的空气环境自动监测系统形成互补，为环保部门效劳目前350米以下都有颗粒污染物，污染程度对比严峻，加之信息化工作处于低端水平,以及公众关于空气质量的关注度不断提升，使得空气质量的监测重要性日益突出廉价的空气质量环境监测系统与目前的传统监测站点的监测方式形成互补，满足公众环境需求，提升政府形象意义

1.2部署空气质量环境监测系统，配合都市现有的环境监测站点，正确、及时、全面地反映环境质量现状及开展趋势，为环境治理、污染源操纵、环境规划等提供科学依据，并结合天气状况、都市交通、人口密度、工业产值等元素，进行系统的研究，为保卫环境，改善都市的大气环境质量改善起到技术支撑作用具体可回纳为⑴依据环境质量标准,评价环境质量2依据污染分布情况，追踪寻寻污染源，为实现监督治理、操纵污染提供依据⑶构建云计算海量数据处理平台,存储本区域海量数据，积存长期监测资料，为研究环境容量、实施总量操纵、目标治理、猜测预告环境质量提供数据⑷为保卫人类健康、保卫环境、合理使用自然资源、制订环境法规、标准、规划等效劳总体设计原那么针对本次工程的实际情况，充分考虑环保局环境监测云平台系统建设的建设开展需求,以实现系统统一治理、高效应用、平滑扩展为目标，以“先进、平安、成熟、开放、经StoreFile以HFile格式保留在分布式文件系统上HFile的格式为Trailer局部的格式HFile分为六个局部DataBlock段-保留表中的数据，这局部能够被压缩MetaBlock段（可选的）-保留用户自定义的kv对，能够被压缩Fileinfo段-Hfile的元信息，不被压缩，用户也能够在这一局部添加自己的元信息DataBlocklndex段-DataBlock的索引每条索引的key是被索引的block的第一条记录的keyMetaBlockindex段（可选的）-MetaBlock的索引Trailer-这一段是定长的保留了每一段的偏移量，读取一个HFile时，会首先读取Trailer,Trailer保留了每个段的起始位置（段的MagicNumber用来做平安check）,然后，DataBlocklndex会被读取到内存中，如此，当检索某个key时，不需要扫描整个HFile,而只需从内存中寻到key所在的block,通过一次磁盘io将整个block读取到内存中，再寻到需要的keyDataBlocklndex采纳LRU机制淘汰HFile的DataBlock,MetaBlock通常采纳压缩方式存储，压缩之后能够大大减少网络10和磁盘10,随之而来的开销所以是需要花费cpu进行压缩和解压缩目标Hfile的压缩支持两种方式Gzip,Lzo0HLogWALlogWAL意为Writeaheadlog://en.wikipedia.org/wiki/Write-ahead_logging,类彳以mysql中的binlog,用来做灾难恢复只用，Hlog记录数据的所有变更,一旦数据修改,就能够从log中进行恢复每个RegionServer维护一个Hlog,而不是每个Region一个如此不同region来自不同table的日志会混在一起，如此做的目的是不断追加单个文件相关于同时写多个文件而言，能够减少磁盘寻址次数，因此能够提高对table的写性能带来的烦恼是，假如一台regionserver下线，为了恢复其上的region,需要将regionserver上的log进行拆分，然后分发到其它regionserver上进行恢复HLog文件确实是基本一个一般的云计算SequenceFile,SequenceFile的Key是HLogKey对象，HLogKey中记录了写进数据的回属信息，除了table和region名字外，同时还包括sequencenumber和timestamp,timestamp是写进时亥,sequencenumber的起始值为0,或者是最近一次存进文件系统中sequencenumbeto HLogSequeceFile的Value是分布式数据立方的KeyValue对象，即对应HFile中的KeyValue,可参见上文描述Client1包含访咨询分布式数据立方的接口，client维护着一些cache来加快对分布式数据立方的访咨询，比方regions的位置信息Zookeeper1保证任何时候，集群中只有一个master2存贮所有Region的寻址进口3实时监控RegionServer的状态，将Regionserver的上线和下线信息实时通知给Master4存储分布式数据立方的schema,包括有哪些table,每个table有哪些columnfamilyMaster1为Regionserver分酉己region2负责regionserver的负载均衡3发觉失效的regionserver并重新分配其上的region4GFS上的垃圾文件回收5处理schema更新请求RegionServer1Regionserver维护Master分配给它的region,处理对这些region的10请求2Regionserver负责切分在运行过程中变得过大的region要害技术

3.5空气检测设备数据高速进库通过前端多种高性能的空气因子采集设备采集的数据通过空气质量监测平台将监测数据进库，查询构架如图图表数据接进，查询架构6负载均衡处理机的单点失效容错处理

4.

5.2负载均衡机分布如图图表负载均衡机分布图全量原始数据接进交换机，将数据发向指IP的负载均衡机，负载均衡机向负载均衡Master节点请求任务处理机，Master返回存任务处理机IP端口信息，负载均衡机依据任务处理机的IP端口信息将数据发向任务处理机•单点容错如图当某一台负载均衡机宕机后图表负载均衡机宕机预案第一步Master节点能过链接心跳得知宕机负载均衡机第二步Master节点从所有均衡机中选出负载小的负载均衡机，启动虚拟IP及相关进程•第三步启动虚拟IP接收原始数据，进行负载均衡当Master节点宕机后图表Master节点宕机预案第一步Master节点宕机，负载均衡节点及存储计算节点能过链接心跳得知Master宕机第二步所有负载均衡节点，重选举出Master节点，并通知存储计算节点新Master节点所有存储计算节点，依据负载均衡IP列表，请求新Master节点，后向新Master节点上报负载状态第三步新Master节点接管所有工作，对宕机的Master节点容错查询处理机的单点失效容错处理

4.

5.3图表查询处理单点失效容错处理第一步任务处理机宕机，负载均衡机得知任务处理机宕机，缓存数据.同时Master得知任务处理宕机后,将任务处理机信息删除待分配列表第二步负载均衡机向Master请求任务处理机，Master重新分配任务处理机给负载均衡机第三步负载均衡机将原始数据发向新任务处理机，进行查询计算与存储集群的负载均衡处理

4.

5.4负载的均衡，确实是基本要让大伙儿各尽其力齐心干活，发扬各自独特的优势,不能忙得忙死闲得闲死，妨碍战斗力而且，负载均衡也是一个复杂的咨询题，什么是均衡，是一个非常模糊的概念比方，在分布式文件系统中，总共三百个数据块，平均分配到十个数据效劳器上，就算均衡了么？事实上不一定，因为每一个数据块需要假设干个备份，各个备份的分布应该充分考虑到机架的位置，同一个机架的效劳器间通信速度更快，而分布在不同机架那么更具有平安性，可不能在一棵树上吊死在那个地方讲的负载均衡，是宽泛意义上的均衡过程，要紧涵盖两个时期的事务，一个是在任务初始分配的时候尽可能合理分配，另一个是在事后时刻监督及时调整分布式文件系统中，ReplicationTargetChooser类，是负责实现为新分配的数据块寻寻婆家的全然上来讲，数据块的分配工作和备份的数量、申请的客户端地址也确实是基本写进者、已注册的数据效劳器位置，紧密相关其算法全然思路是只考量静态位置信息，优先照顾写进者的速度，让多份备份分配到不同的机架往具体算法，自行参见源码此外，分布式文件系统的Balancer类，是为了实现动态的负载调整而存在的Balancer类派生于Tool类，.这讲明，它是以一个独立的进程存在的，能够独立的运行和配置它运行有NamenodeProtocol和ClientProtocol两个协议，与主控效劳器进行通信，猎取各个数据效劳器的负载状况，从而进行调整要紧的调整事实上确实是基本一个操作，将一个数据块从一个效劳器搬迁到另一个效劳器上Balancer会向相关的目标数据效劳器发出一个消息，接收到那个消息的数据效劳器,会将数据块写进本地，成功后，通知主控效劳器，删除早先的那个数据效劳器上的同一块数据块分布式计算负载平衡用的是公平调度算法，公平调度是一种多用户的给予作业job资源的策略，它的目的是让所有的作业随着时刻的推移，都能猎取与权值相应的共享资源当单独一个作业在运行时，它将使用整个集群当有其它作业被提交上来时，系统会将任务task空闲计算槽slot赋给这些新的作业，以使得每一个作业都大概猎取到与权值相应的计算时刻那个特性让短作业在合理的时刻内完成的同时又保证了长作业的效劳质量公平调度器按资源池pool来组织作业，默认情况下，每一个用户拥有一个独立的资源池在节点的TaskTracker上设置有同时运行的Map任务和Reduce任务个数上限，假设未到达上限，那么就产生了空闲计算槽，包括Map和Reduce空闲计算槽当集群上出现空闲计算槽时，调度按两步进行，首先空闲计算槽在作业池之间分配，其次在作业池内的作业间分配最小份额和公平份额最小份额确保作业池总能猎取到足够的资源，由用户设定作业池的公平份额的计确实是基本依据作业的权值将集群的资源总量划分给各个运行的作业池在缺省的情况下,作业池权值的设定是基于优先级的，即优先级每升高一级，那么相应的权值就增加一倍即所分配的计算槽是次一级的两倍例如平台上有甲乙两个作业池，甲优先级为high,乙低一级为normal,那么甲被分配计算槽总数的，那么乙被分配计算槽总数的通常情况下一个作业池的最小份额小于公平份额池间的公平分配算法描述如下1）假设存在没有到达最小份额的作业池，那么设c为池内已分配到的计算槽，m为作业池的最小份额，值为最小的作业池将被优先分配计算槽，2）假设每个池都已得到最小份额，设w为计算槽的权重，那么值为最小的作业池将被优先分配计算槽3）公平调度算法中为每个作业池维护着两个变量，最小份额时限T和公平份额时限T,当作业池在T时刻内没到达最小份额或T时刻内没到达公平份额的一半时，公平调度器将杀死最近开始运行的任务占用其计算槽，以最小化被白费的计算抢占可不能导致被抢占的作业失败，因为云计算作业容忍任务丧失每个作业池中有运行作业数量限制假设到达作业池上限，那么后续作业将在调度队列中等待，直到早先的作业执行完成并释放计算槽池内计算槽的分配池内作业间计算槽的分配，能够按照池间公平分配算法或按照云计算默认的FIFO进行当采取公平分配算法时，池内的作业也被设置最小份额并按权值被统计公平份额,作业间的公平分配与作业池间的公平分配全然类似而由于较差的数据本地性，公平调度策略又提供了一个辅助的池内作业间的等待调度算法［Delayscheduling）,尽管牺牲了一定程度的公平性，但由于考虑到了云计算平台的数据本地性，使得小作业的响应时刻有了较大的改善并提高了集群的吞吐率算法描述如下:在作业池内，当出现空闲计算槽时，按公平分配或FIFO排序的作业队列，头结点作业所需数据不在此计算槽所在的节点上时，那么将此槽分配给下一个节点，以此类推假如作业由于数据本地性未被分配计算槽超过一定时刻，那么此作业被答应分配一个计算槽，此计算槽所在节点能够与其所需数据所在节点在同一机架内，假设再过一定时刻后此作业仍然在等待，那么答应分配一个计算槽，此计算槽所在节点能够与其所需数据所在节点不在同一机架内系统展示web综合上述，空气质量环境监测系统架构云计算海量数据处理平台,存储本区域海量数据，积存长期监测资料，为研究环境容量、实施总量操纵、目标治理、猜测预告环境质量、环境治理提供数据配置清单5名称类型技术规格数量台数序号1机箱（高*宽*深）:12立方88mm*430mm*675mm支持19英名称寸标准机柜节点和备CPU英特尔®至强E2600系列芯片组2份名2GHz以上6核12线程L3缓存称节12MB点效内存8GBDDR38劳器内置〃500G/7200RPM/32M/SATA（系1硬盘统盘硬盘〃1000G/7200RPMSATA热插拔2网络2板载千兆网口，支持负载均衡和失败替换平台1U节点520W1+1冗余高效1能电源，共8个

3.5”盘位,6个RDIMM内存插槽2数据机箱高*宽*深:15立方处88mm*430mm*675mm支持19英理节点寸标准机柜效劳器英特尔®至强E5606系列芯片组CPU22GHz以上4核8线程L3缓存12MB内存8GBDDR38内置〃500G/7200RPM/32M/SATA（系1硬盘统盘）硬盘〃2000G/7200RPMSATA热播扳4网络2板载千兆网口，支持负载均衡和失败替换平台1U节点520W1+1冗余高效1能电源，共8个

3.5”盘位,6个RDIMM内存插槽网络2板载千兆网口，支持负载均衡和失败替换平台1U节点520W1+1冗余高效1能电源，共8个

3.5”盘位,6个RDIMM内存插槽3web机箱高*宽*深:1188mm*430mm*675mm支持19英效劳器寸标准机柜CPU2英特尔®至强E2600系列芯片组以上6核12线程L3缓存12MB内存8GBDDR38硬盘〃1000G/7200RPMSATA热插拔1网络2板载千兆网口，支持负载均衡和失败替换平台1U节点1520W1+1冗余高效能电源，共8个

3.5盘位,6个RDIMM内存插槽4特征硬件无线节点，室外箱柜，节点供电，室180因子检外天线,Voc传感器,HN3传感测设备器,H2S传感器，可燃气体，传感器，室外传感器柜，高功率天线，无线功率放大5检测硬件180外装箱，主板，太阳能操纵器，传设备感器，适配器，传感器线材太阳能板，蓄电池，太阳能支架，卡，钥匙，其他配件无线6硬件无线接收基站11接收基站7配套交换思科16口千兆交换机11机设施机柜数据立方的机柜1电源ups等电源线2根网线所有电脑连接的网线10根cproc8数据使用Cproc云计算数据立方系统数1套1数据立库据库方系统软件9软件11包括空气监测平台,web展示和终开发端应用访咨询10部署劳务安装部署，调试所有的空气质量监11安装费测测设备用济〃为总体设计原那么先进性原那么在系统总体方案设计时采纳业界先进的方案和技术，以确保一定时刻内不落后选择有用性强产品，模块化结构设计，既可满足当前的需要又可实现今后系统开展平滑扩展平安性原那么数据是业务系统核心应用的最终保障，不但要保证整套系统能够7X24运行，而且存储系统必须有高可用性，以保证应用系统对数据的随时存取同时配置平安的备份系统,对应用数据进行更加平安的数据保卫，落低人为操作失误或病毒突击给系统造成的数据丧失在进行系统设计时,充分考虑数据高可靠存储,采纳高度可靠的软硬件容错设计，进行有效的平安访咨询操纵，实现故障屏蔽、自动冗余重建等智能化平安可靠措施，提供统一的系统治理和监控平台，进行有效的故障定位、预警成熟性原那么为确保整个系统能够稳定工作，软件平台将使用先进、完善、易于治理和稳定可靠的云存储资源治理系统，关于与应用的集成接口,提供统一的通用稳定访咨询接口开放性原那么系统建设具有开放性的标准体系，提供开放的应用API编程接口，提供人性化的应用和治理界面，以满足用户需求遵循标准的通用接口标准，使全系统中的硬件、通信、软件、操作平台之间的互联共享充分考虑系统的升级和维护咨询题，维护采纳在线式的,即在系统不停止工作的情况下，能够更换单元备件系统的维护和升级操作由系统治理员即可完成经济性原那么现有业务系统存储数据量较大，且数据的增长速度较快因此在建设系统存储架构时,应从长远的角度考虑，建设一个长期的存储架构，除了能够应对存储硬件设备的升级速度外，还必须考虑到对前期存储设备的投资保卫，在保证不断提供功能和性能提高的同时，存储架构在较长的时刻内能够维持相对稳定结合先进的云平台技术架构优势,依据本次工程建设的实际容量需求设计，同时充分考虑应用开展需求，实现系统可弹性在线平滑升级通过软件实现在较廉价一般效劳器上实现高度容错，同时能够在较低冗余度的情况下实现高度可靠容错，大大节约和落低系统建设的硬件本钞票系统特点.价格低廉，大规模部署1空气质量环境监测设备只有国际通用的几分之一，即可满足空气质量监测、数据传输功11后期效劳整体平台采集设备，平台一年质保1年1维护能，无需国外珍贵的监测设备，和现有的环境监测点形成有利互补，对空气质量数据公布有参考意义.云计算海量数据处理技术2架构云计算海量数据处理平台，采纳先进的云计算处理技术，对环境监测的数据进库和关联查询快速响应，支持自动容错和动态扩展，具有实时性、高可靠性、可伸缩性、高性价比等特点.扩容性3空气质量监测前端设备能够依据需求进行增加设备，扩展整个系统的覆盖面积，然而不需要接着复杂的操作，能够动态的增加空气质量测试的节点，并能自动组网，具有非常强的扩容性.实时性4测定速度快，自动化程度高测试方法决定了测试的实时性，采集时刻实现秒级响应，且采集时刻能够任意设定，采集的数据实时进库，可实时查询.采集数据的正确性5采集的数据通过精确的校准，且灵敏度非常高，和环保局部公布的空气质量数据及趋势接近，数据真实有效系统设计

2.总体架构

2.1前端设备采集到相关的信息，通过GPRS进行无线数据传输，在有公网IP的效劳器上进行数据接收和初步的处理，然后数据存进数据立方进行存储和计算，同时通过WEB效劳器进行数据的最后处理和公布，通过web页面和移动终端能够实时的查瞧pm25实时和历史数据具体的系统总体架构详见以下图图1空气质量云监控平台总体架构系统要紧功能空气质量监测云平台需要提供的要紧功能描述如下1实时数据进库系统实时数据进库系统要紧负责全市所有空气质量监测点产生的各类空气因子数据实时存到空气质量监测平台数据存储中心2空气质量监测平台数据存储系统原始空气质量数据，将全部存储在空气质量监测平台分布式文件系统，用于存储海量的非结构化数据为了满足和习惯数据量、数据特征和查询处理的不同需求，局部存存储于关系型数据库中3空气质量监测平台数据查询分析应用系统空气质量数据查询分析应用提供包括实时监控空气质量空气质量，查瞧历史记录和分析数据等功能空气质量历史查询处理时，由于空气质量数据量巨大，需要调度使用多台效劳器节点进行并行处理4数据治理系统在实际使用中，可能用户会对某一时刻段或者类型的数据特殊关怀，就能够通过数据治理系统查询并导出这局部数据以供使用技术优势

1.无线传感网络节点咨询间可进行长距离的传输，国内最多50m Corssbow为150m.而我/们在节点间无阻挡时理论距离为30000m,有阻挡为500〜1000m,具有极高的性价比.

2.能耗低，国外同类产品发射电流消耗为20mA,我们可达仅为

0.5mA;

3.节点数多，国外一般150个，我们能够256个，还可扩充至1000个以上.

4.系统精度高，比同类产品高一个数量级；

5.平安系数高，由于我们提供了数据完整性的检查和鉴权功能，加密算法采纳了AES-128”,即具有高度的保密性

6.系统可靠性高，由于我们采纳了碰撞防止机制，同时为需要固定带宽的通讯业务与留了专业时隙，防止了发射数据时的竞争和冲突，而且节点模块之间具有自动动态组网的功能，信息在整个网络中通过自由路由的方式进行传输，从而保证了信息的可靠性;

7.系统时延短，我们针对时延敏感的运用做了优化，通讯时延和从休眠状态激活的时延特不短技术方案.监视和记录传感器的测试数据1系统记录下所有不同传感器的测试数据并保留在系统的效劳器的数据库中效劳器自带网站效劳能够以网页的形式提供监视结果.实时的数据传达和报警2单个的传感器的数据可用来设成触发点来触发短信的发送,email的发送.随插随用的传感器和结点3每一个在网络中的结点能够插进多个不同种类的传感器，只要传感器的接口是标准的ESBEnvironmentalSensorBus,无需任何改动，插进即可使用.网络的可扩张性4只要加结点，网络就扩张结点间的结网是自动的结点间距在2公里内，就能够互相通讯.太阳能电池的应用和电源5每个结点上都能够加上太阳能电池，配合内置的长寿可充电银氢电池在无太阳能充电的极端环境下，结点还能维持三个月以上的正常工作周期在环境答应下，每个结点另可外接电源.系统软件的高可靠性和大规模高速处理能力6海量的传感信号数据通过网络送到数据效劳器的数据库处理系统，存储分析系统及显示效劳系统的软件做相应的工作以满足用户需求.前端采集设备3前端架构设计空气质量前端设备要紧是由电源模块、采集模块和通信模块三大模块组成,前端采集设备内部架构具体详见图实际的空气质量监测设备详见图2图2前端设备的架构要紧模块和功能

3.2传感器

3.

2.1我们将按其节点向所传输的距离，采纳美国最新研制的微处理器及采纳Zigbee等技术做无线传输，并将最新的系统集成技术，应用软件和网络传输，射频技术和底层软硬件操纵技术相结和通过该特征因子传感器能够监测大气中的环境监测的特征因子硫化氢气体传感器1检测范围0—100ppm最大测量限150ppm灵敏度土使用温度范围-20℃〜+50℃使用压力范围标准大气压±10%响应时刻T90W30s湿度范围15%—90%RH无凝聚零点漂移-20℃〜+40℃W2氨气传感器NH3标准工作条件10ppm-100ppmNH3加热功耗小于900毫瓦使用温度-20℃-50c储存温度-20C-70CRH相对湿度小于95%RH标准工作条件温度:20℃±2℃Vc:5V±

0.1V相对湿度:65%±5%Vh:5V±

0.1V

（3）有机溶剂气体传感器适宜于醇类、酮类、醛类、芳族化合物等有机溶剂的探测加热功耗小于900毫瓦使用温度-20C-50C储存温度-20C-70C相对湿度小于95%RH探测范围Ippm-lOOppm苯lOppm-lOOppm甲苯5ppm-100ppm甲醇30ppm-300ppm酒精10ppm-300ppm丙酮lppm-10ppm中醛注此传感器只测混和气体浓度不分不给出各组份的含量

（4）可燃气体传感器用于液化气，天然气，煤气的监测优良的抗乙醇,烟雾干扰能力加热功耗W900mW使用温度-10℃-50c储存温度-20℃-70c相对湿度小于95%Rh探测范围:300-5000ppm液化气,天然气，煤气标准工作温度:20C±2℃士标准工作相对湿度:65%±±注此传感器只测混和气体浓度不分不给出各组份的含量前端数据转换通过传感器的检测颗粒，输出相关的PWM波，低电平的波形width是10ms-90ms,利用那个PWM波形来进行猎取相关的参数，详见图8通过猎取低电平的占空比，从而通过图9猎取到对应的数值图8传感器的采样图9传感器采样的曲曲折折线图通过如下的计算，能够得到其中一个通道的采样值通道的LOWPIuse的占空比设定为L,测试的采样值为P那么假如猎取到的L8,那么P=

0.1*L*100*10ug/m3;假如猎取到的，那么P=L+100-8/+

0.8*10ug/m3;通过相关的采样，能够采样得到传感器的两个通道的值，一个通道是lum以上的粒子的值P1,另外一个通道是能够进行设置的，那个地方设置为能够检测以上的粒子的值P2O空气质量是指大气中直径小于或等于微米的颗粒物，也称为可进肺颗粒物〔暂无标准中文名〕因此在那个地方要计算最终的采样值PL,需要进行如下的计算PL=P1-P2;那个地方就能够计算出大气中直径小于或等于微米的颗粒物采集局部尽管肉眼瞧不见空气中的颗粒物，然而颗粒物却能落低空气的能见度，使蓝天消逝,天空变成灰蒙蒙的一片，这种天气确实是基本灰霾天依据2021年灰霾试点监测报告,在灰霾天，空气质量的浓度明显比平常高，空气质量的浓度越高，能见度就越低。