还剩5页未读,继续阅读
文本内容:
湖南省水旱灾害防御气象服务平台的设计与实现罗红梅陈玉贵李浩黄泽群摘要为了贯彻落实习近平总书记提出的防灾减灾救灾新理念,有效提升水旱灾害防御能力,建设湖南省水旱灾害防御气象服务平台该平台基于湖南省气象局“天擎”大数据中心,充分整合“气象+水利+水文”数据,采用JAVA、Python.HTML+CSS等跨平台开发语言,B/S、S0A、“云+端”架构,虚谷、StarRocks
2.0数据库研发,针对湖南省、市、县水利部门、中小型水库和电站的本地化业务需求,提供基于位置的流域和集雨区的面雨量预报、气象预报预警、来水预报、水位预报、入库流量预报和精准靶向预警信息发布等综合服务,有效提升湖南省防洪调度、安全度汛、发电增效提供技术保障和数据支撑中图分类号F127文献标识码A文章编号1004-4914202309-127-03
一、系统设计与实现-系统设计在统一的数据环境下,该平台构建了湖南省气象部门数据和产品信息的共享体系,主要提供流域和集水区的定位降雨预报,针对湖南省水利部门、中小型水库和电站的本地业务需求,同时提供准确的天气预报预警、来水预报、水位预报、来水流量预报等服务,为湖南省防汛调度、安全度汛、提高发电效率提供技术支撑和数据支持二架构设计平台选用“云+端”技术架构
[8],采取“云端部署、终端服务”的模式建设,云端统一部署在湖南省气象局“天擎”大数据中心,终端为服务对象,按照数据采集处理、数据建模分析、模型计算分析、产品制作加工、产品服务应用为流程,以集约化、可扩展为原则搭建;新建应用服务与现有业务平台融合集成、标准化设计与开发,服务产品统一存储在云平台数据库中,提供标准化接口和统一出口
[9],该系统主要包括平台客户端、API服务、业务层、运行支持层、数据层、数据库和运行环境
(1)平台的客户端主要包含湖南省、市、县水利部门和气象局、中小型水库和电站用户其中气象局用户主要是服务产品的发布、订正与系统初始化配置与运行维护,其他用户为服务对象,主要通过WEB网页的形式进行访问
(2)业务层提供系统访问的API服务,包含资源查询、降水数据管理、数据库管理、项目信息管理、用户及权限管理等
(3)运行支持层主要是系统依托于气象内网,提供HTTP方式访问
(4)服务应用层实现业务流程与服务,包含面雨量、流量、来水量、气象数据、站点数据、报文产品、报警设置、风云卫星切片、格点数据转换、雷达数据转换等实现
(5)数据层属于平台的底层,包含数据库数据、系统缓存数据、系统静态资源文件等其主要用于空间数据的存储、备份及数据的安全,为整个服务平台提供数据保障
(6)为了对运维数据和预报产品进行高效、准确、统一化管理,同时也为了提高其访问速度,该平台包括2个数据库一个是云平台的虚谷数据库,另一个是Doris数据库虚谷数据库具有支持跨平台、支持多字符集、权限隔离的安全机制、身份验证、自主访问控制、基于标记的强制访问控制、数据库审计、存储加密等特点,是一款高性能、高安全、高可靠的数据库;Doris数据库,它具有在线表结构变更、两层分区、列式存储,高压缩比,多种索引、高基数精准去重等特性,可快速访问和加速查询
(7)^行环境系统运行于虚拟机中,部署1台虚拟机,包含服务站点、模型算法服务等
(三)功能设计
(四)系统性能设计系统性能设计是系统设计过程中的一个必要环节,它在系统架构设计中也非常重要系统通过转换机构把输入的物流和信息流转变为输出的物流和信息流的各种参数值,主要包括响应时间设计、系统并发数设计、稳定性与可靠性、可扩展性和可维护性设计、实用性与简便性设计及自动运行模式设计
(1)响应时间系统投入运行后,保持7X24小时稳定运行;用户的操作响应需要得到保证,一般操作响应小于1秒;复杂查询响应小于3秒,特殊操作可适当延长
(2)系统并发数:系统支持并发用户数不小于190个
(3)稳定性与可靠性无论是硬件系统还是软件系统都必须具有一定的可靠性,因此发布平台的计算机设备应选用中高档次的服务器来满足要求
(4)可^展性与可维护性系统应具有较好的可扩展性,为应用系统的进一步扩充和升级提供方便系统一旦投入运行就不能间断,除了要求收发软件本身具有良好的维护性外,还应当拥有在离线维护环境,不影响正常业务的情况下进行软件维护
(5)实用性与简便性系统需要多部门共同使用,在充分考虑系统实用性的同时,要注重信息发布的效率,满足不同用户可以简单快速的完成信息处理与发布工作,系统采用预置固定模板、设置固定参数等方式提升发布效率
(6)自动运行模式软件为不间断自动运行模式,即除有必要的少量配置文件需要修改外,日常的业务均由系统按照参数配置自动运行,勿需人工干预维护人员仅在系统报警提示的情况下,进行非正常情况的人工干预或故障维修所有的故障状态和信息系统都将自动记录和存储,便于事后的故障对策和分析之用
(五)系统安全设计本系统作为7X24连续运行的大型数据库系统,安全管理具有极其重要的意义本系统数据库安全设计原则是基于最小特权的原则,此原则授予用户具有完成其任务的所必须的最小的特权,而不应具有更多的特权数据库安全性分为如下几个层次安全规章制度、物理安全性、操作系统安全性、数据库系统安全性、数据安全性系统使用防火墙和入侵检测来防止攻击同时,从应用层面登录系统数据库时,需要通过手机验证码进行验证,以防止隐私的泄露平台系统不仅对每次观察到的数据进行记录、处理和存储,对其进行加密,而且对删除或误删除的数据进行一定天数的恢复,以保证数据安全
二、关键技术(-)数据源获取该服务平台采用的气象资料和水文水利数据来源于湖南省气象局“天擎”大数据中心,平台采用“云+端”业务模式,以“天擎”大数据中心为云,并且由“端”实现与用户交互的功能,包括后端管理(系统数据管理、系统产品管理、系统业务监控管理)和前端应用(系统网页服务应用)通过用户操作,对“云”发送请求,后续操作由“云”完成(如数据存储、产品加工、业务应用等),并将数据返回给“端”,两者由湖南省气象局“天擎”大数据云平台标准接口连接
(二)多源数据整合该系统需整合气象数据、预警信息、水文信息等多源数据资料
[13],其中气象预报资料主要来源于湖南省气象局“天擎”大数据云平台;突发事件预警信息主要来源于湖南省级突发预警信息发布业务平台
[12],采用标准接口获取和处理;水文和水利数据主要来源于湖南省气象局与湖南省水利厅通过协议搭建的共享数据库
[14]o所有的信息均是基于用户位置,获取精准的服务信息系统对原始数据筛选和处理,从而减少其运行过程中的数据处理量基于数据的共享与同步,系统根据用户的位置实时整合不同地区的数据以进行分析和展示随着数据量的增多且用户每天都要进行数据的读取、处理,将数据从分布在各地的数据库取出然后在云端进行计算和存储,可以有效的节约计算资源和提高计算效率
(三)数据存储与管理数据以文件和数据库相结合的方式协作存取和管理,采用虚谷、StarRocks
2.0数据库,提升系统访问速度,系统服务采用标准化设计,方便迭代升级根据应用服务中对象关系不同的特点,采用不同的存取方式系统数据库基础对象关系搭建的关键是如何有效联结用户、流域、水库等对象,数据库基础信息主要涉及用户、流域、行政区、水库、水文站、集雨区等,其中流域与用户之间为一多对应、行政区和用户之间为一多对应、用户和水库之间为多多对应、水库和水文站之间为一一对应、水库和集雨区之间为一多对应关系本平台通过对不同对象建立基础信息表和关联表等方式,建立对象间联系采用科学有效的管理模式为用户提供统
一、全方位的数据检索和服务具有导入历史数据、更新、添加、备份、恢复、和清理等功能,并能监控数据存取和资源使用基础信息管理涉及的对象关系如图2所示
(四)信息共享服务信息共享服务采用web网站、共享文件目录等方式管理数据、监测、预测和预警等服务在平台运行中,许多用户同时访问时不仅需要快速处理大批数据,响应及时也是必不可少,这与网络协议、带宽和访问量等密切相关因此需要高效的网络技术来保证响应速度可以满足大量并发访问的要求该系统部署于湖南省气象局内网服务器上,通过防火墙NAT技术[13]转换策略进行地址转化,映射提供外网可访问地址,通过WEB网址访问方式,使用户能够快捷的查询、访问,以及数据分析等共享服务
(五)页面刷新和数据交互技术网络GIS技术基于B/S架构实现数据的检索和分析,通过Internet提供地理信息发布、共享和交流协作,可实现空间数据的检索、查询、制图、编辑等功能为满足用户对本平台数据较高实时性的要求,本平台在页面刷新和数据交互技术上使用Web[14]最新标准Fetch代替传统的ajax,XMLHttpRequest是一个设计粗糙的API,不符合关注分离(Separation ofConcerns)的原则,配置和调用方式非常混乱,基于事件的异步模型也没有现代的Promise,generator/yield,async/await友好fetch和XMLHttpRequest相比,主要有以下优点:语法简洁,更加语义化,基于标准Promise实现,支持async/await,同构方便,使用isomorphic-fetcho
三、应用效果该平台已通过扁平化设计,形成了“一级部署,多级应用”业务布局,实现技术、数据、资源在省级气象部门的统一集约与管理,系统迭代升级方便、节约系统运维成本,提高工作效率省级部门加强与用户的沟通与交流,摸清用户实际业务需求,加强最下游服务产品的研发,升级迭代服务平台,不断提高气象服务质量同时在实际运行过程种,不断结合天气过程和实际情况,调整预报预警模型参数,提高预报精准度
[1]罗红梅,周峰,陈湘华.湖南省气象灾害预警信息发布业务平台的设计及应用[J].科技创新导报,2015,121223-
24.
[2]杨有林,陈海波,王建林,等.宁夏智能化综合气象业务服务共享管理平台设计与实现[J].气象,2018,4407961-
968.
[3]张志强,张强,胡星,等.国家气象业务内网设计与实现[J].安徽农业科学,2016,4406224-
227.
[4]李新庆,卫建国,单新兰,等.宁夏气象业务内网的功能与实现[J].干旱气象,2017,35061077-
1083.
[5]王会品,王洪祥,孙悦程,等.基于ArcCIS的大连气象内网业务平台设计与实现[J].湖北农业科学,2018,5711111-
112.
[6]詹利群,任晓炜,黄志,等.广西气象业务内网功能设计与实现[J].气象研究与应用,2019,400171-
76.
[7]熊安元,赵芳,王颖,等.全国综合气象信息共享系统的设计与实现[J].应用气象学报,2015,2604500-
512.
[8]庞丽丽,邹煜,陈健,等.云”+“端”技术模式在山洪灾害预警防御的应用与实践[J].中国防汛抗旱,2020,30Z121-
24.
[9]钟艳雯,尹新怀,朱亮,等.湖南省气象业务内网平台的设计与实现[J].湖北农业科学,2020,5920155-
158.
[10]罗红梅,刘瑞琪,郭海峰,等.基于政务云与气象内网的突发事件预警信息发布业务系统部署方法研究及应用[J].安防科技,2021,123259-
60.
[11]白艳萍.浅谈防火墙技术在气象信息网络种的应用[J].电脑知识与技术,2020,162761-
62.
[12]吴文玉,翟菁,霍彦峰.省级环境气象业务系统关键技术[J].计算机系统应用,2020,290975-
80.
[13]裘峰,李子豪,任宇程,等.贵州省基于云计算的山洪灾害建成预警管理系统设计及应用[J].中国防汛抗旱,2019,290312-
15.
[14]魏佳楠,吴勇,林华剑,等.基于的自然资源“一张图”管理信息系统设计与实现[J].计算机应用与软件,2020,370920-
26.。
个人认证
优秀文档
获得点赞 0