一、气象观测资料的归档(论文文献综述)
刘敏,薛小宁,贺彩萍[1](2021)在《基于质量管理体系的基层综合气象业务管理分析》文中研究表明以ISO9001质量管理体系理念为指导,分析县级基层综合气象业务发展现状,基于风险的思维和过程方法,梳理综合气象业务主要过程,建立涵盖基础业务、服务评估、科研应用、成果转化等一体化的基层综合气象业务闭环发展新业态。
刘媛媛,何文春,王妍,李江涛,白金婷[2](2021)在《气象大数据云平台归档系统设计及实现》文中提出本文针对"天擎"归档系统的建设需求、总体架构,提出系统实现的若干关键技术问题并进行深入分析,气象大数据云平台(以下简称"天擎")归档系统设计为面向海量数据归档存储的支撑系统,保障数据的安全完整。系统基于在线存储、离线存储以及磁带库管理软件,通过层次性结构体系、消息队列和微服务技术框架,实现多协议数据归档、敏感数据归档及转储数据归档等功能,满足各种新增数据归档业务场景,同时具备丰富的数据回取服务、数据全流程的追溯和规范化的磁带管理保障等功能。2020年8月"天擎"归档系统投入业务运行,每日归档的实时数据量约为10TB,后续最高可承载约240TB日数据量的归档业务。
徐拥军,何文春,刘媛媛,王琦[3](2020)在《气象大数据存储体系设计与实现》文中指出为满足天气预报、气候预测、决策服务和公众服务等气象业务对海量气象数据存储与服务的需求,实现气象业务集约化的目标。基于业务数据应用特征,结合多种分布式存储技术,设计了一套气象大数据存储体系。通过规范数据存储结构,利用数据同步、分级存储以及数据服务接口等方面的关键技术,解决了气象数据在分布式异构存储技术间的统一管理和服务的问题。经过应用实践证明,气象大数据存储系统存储能力达到了30 PB,数据分级管理流程高效,数据统一服务响应时效在1 s以内,具备直接支撑气象业务的能力。
周致丞[4](2019)在《大气污染特征时空分析的自动化提取算法研究 ——以华北平原应用示范为例》文中研究表明随着我国经济迅速崛起,环境污染问题日益突出,尤其华北平原在过去10年内灰霾现象频繁发生。遥感卫星具有覆盖范围广、动态更新等优势,可以弥补地面监测站点空间分布上存在的不足,已成为区域和全球尺度大气污染物监测的重要手段。华北平原大气污染物成分复杂、来源广泛,常以气溶胶光学厚度AOD(Aerosol Optical Depth)、二氧化氮NO2、二氧化硫SO2等复合污染物为主,借助卫星遥感观测资料有助于厘清该区域大气污染的时空特征,能够为该区域的大气污染防治提供重要的数据支援。而多源、时间序列遥感数据面临格式不统一、数据量大、处理速度慢、用户等待时间长等问题,为实现对华北平原多种大气污染物时空特征的准确把握,必须借助计算机手段对大气污染特征提取进行自动化建模。论文针对这一应用需求,为多源大气污染参数产品制定数据规范标准,并实现多源数据的归档与预处理。在此基础上构建大气参数提取算法,并进行遥感数据源和提取算法的验证评价。最后以华北平原为研究区,使用MODIS AOD数据和OMI NO2、SO2数据对2006-2015年间的大气污染物时空变化特征进行分析,并结合MEIC排放清单数据和MODIS火点资料筛选有效的减排政策和措施,为以后大气污染防治提供数据支撑。主要研究结论包括:(1)制定了多源大气污染参数产品数据规范标准,并实现多源数据的归档与预处理。在数据规范标准制定时,考虑多源遥感数据及产品的时间和空间特征,并从多源、时间序列遥感数据大气污染时空特征分析的需求出发,在参考CSDGM和ISO 19115标准的基础上,增加约束条件(主要包括参数阈值、时间窗口和无效值剔除策略)来实现多源数据的可对比性和有效性。(2)基于多源大气污染参数产品数据规范化的归档数据集,借助滑动平均算法和格网策略构建了大气参数自动化提取算法。并使用地基站点观测数据进行MODIS和OMI大气参数的精度验证,以确保大气污染物特征时空分析的准确性。对于大气参数的提取,主要涉及时间尺度和空间尺度的转换。并且为了保证数据集的完整性和可重复利用性,对于各级数据处理,在遵循数据规范标准的前提下采用先时间尺度处理、后空间尺度处理的策略。精度验证结果表明,本文使用本文所构建的大气参数提取算法得到的遥感数据反演大气参数与地基观测参数的相关性均在0.6以上,表明原始数据集具有较高的可信度,且本文所构建的大气参数提取算法具有普适性。(3)基于大气污染参数时空变化趋势分析模块,使用MODIS和OMI多源遥感数据从月、旬和年的时间尺度以及空间分布的2个维度,讨论了AOD、NO2和SO2这三种主要大气污染指标在长达10年中的空间演变规律。结果表明:AOD与NO2、SO2呈现较强负相关,NO2与SO2呈正相关,AOD与NO2、SO2存在着此消彼长的关系。在月均尺度上,NO2和SO2柱浓度的最小值均出现在每年7、8月份,最大值出现在12、1月份,而AOD在6、7月份最大,11、12月份最小。在季均值角度上,三者的高值区主要分布在河北石家庄、邢台、邯郸沿线城市,沿山西太原-临汾主线过渡到河南郑州,山东黄河以北及西南部及天津等地。对于2006-2015年长时间序列,AOD和SO2均从2006年起逐年下降至2009年次小值,随后两年短暂反弹,10年最大值均出现在2011年;NO2在2007年增加、2008年短暂回缩后以年均11.14%/yr的速度快速增加;且三者均从2011年起不断下降,在10年变化周期内,AOD和SO2下降幅度分别达到17.14%和10.57%,仅有NO2从2006年到2015年上浮4.72%。结合MODIS火点监测及MEIC排放清单资料得知,AOD夏季较高与生物质燃烧多发在夏季有关,NO2与SO2冬季高值严重依赖于燃煤取暖需求;MEIC NOx年际变化和OMI观测的NO2均与政府减少机动车保有量有关;2007年发电部门严格安装脱硫装置后,MEIC SO2排放量明显下降。“十一五”期间以SO2和AOD减排为主,“十二五”阶段NO2减排效果显着。大气污染参数时空变化趋势分析结果表明,治理大气复合污染在严格控制AOD、NO2、SO2排放源的同时,还需协同考虑各自的污染特点以及气象因素的影响。
闫荞荞,刘莹,刘园园,仵璇[5](2017)在《省级气象资料归档管理系统设计与实现》文中研究说明因气象资料种类多、数据量大,传输处理归档流程十分复杂。文章在对省级气象资料归档管理业务流程分析的基础上,设计开发了省级气象资料归档管理系统,其功能按照业务流程组织,涵盖了资料收集、归档审批及资料检索等环节,实现了气象资料归档的流程化管理和自动化处理。
林荔[6](2016)在《福建省气象档案资料管理系统》文中研究指明以省级气象资源整合为目的,制定本省各类资料的档案管理办法、规范,制定历史资料共享服务规范。建立省级档案资源数据库,实现各类气象历史资料的数据库管理。对各类观测资料和预报产品按《气象数据存储管理办法》进行实时在线归档、存储。建立档案管理模型,实现统一信息资源层次体系、统一数据元素标准、统一信息编码和统一数据索引。通过对数据的规范化定义和台站数据反馈机制,确保归档资料的唯一性、准确性、完整性、规范性和时效性,实现数据的统一查询和服务,利用档案服务接口,实现历史资料的在线浏览、申请、审批、下载等数据共享服务,从而改变实时和历史资料在生成与收集、加工处理、应用等环节的分离状态,并逐步消除实时和历史资料界限,实现资料一体化处理与共享,进而提高我省气象数据的服务质量和效率。
刘俊娜,唐怀瓯,季永华[7](2015)在《省级气象探测资料归档与备份系统》文中研究说明省级气象探测资料归档与备份系统以安徽省气象探测资料为处理对象,针对资料类型的不同采用不同的解码处理方式,然后按照气象资料格式进行统一编码,再对加工处理后的资料进行完全备份和差异备份,并在异地进行容灾备份。本系统有高可靠性、灾难恢复、高可用性、高可管理性和保持业务持续性等特点。事实表明,多种归档策略和备份技术的应用,使通信系统运行更加稳定可靠,资料存储更加方便安全,该系统极大的提高了安徽省气象信息的归档和存储管理的现代化水平,同时对安徽省气象观测资料的保存提供了可靠保障,并为以后新增数据资源归档及备份提供了有益的经验和示范。
许婧[8](2015)在《气象资料归档与检索优化技术研究》文中提出气象科学数据是数值预报业务化应用中不可或缺的重要资源,也是支撑数值天气预报技术快速发展的基石,蕴藏着巨大的科学、经济和社会价值。随着时间的推进和数值天气预报精细化水平的提高,气象科学数据在种类及数量上不断增长,其有效利用和高效管理已成为挑战性的研究课题。处于世界领先地位的欧洲中期天气预报中心(ECMWF)为此研发了气象资料归档与检索系统(MARS),提供了观测资料及数值预报产品资料的存档、查询等海量气象数据管理服务,目前被广泛应用。本文对MARS平台的关键技术集中进行了分析研究,对查询访问的关键性能瓶颈问题给出了相应的并行优化设计和实现方法,主要工作如下:1.研究分析了GRIB和BUFR编码类型的气象数据结构特点,在此基础上,针对性开展了国内外气象数据资料管理平台的技术发展和功能特点分析,并着重研究了MARS框架元数据管理关键技术,即基于多维时空数据结构的数据立方体索引技术。2.开展了基于MARS检索区域查询方式的优化研究,提出了一种高效的补集转换区域查询方法(CTRQ)。针对现有MARS系统执行大范围区域查询的效率瓶颈问题,基于数学补集思想设计了一种高效的补集转换区域查询方法,并通过Open MP混合模型编程,实现了基于高性能计算平台的CTRQ算法并行化操作。该方法能有效降低数据立方体聚集计算量,并通过并行算法进一步提高了计算效率。3.开展了基于MARS归档物理结构重组织优化算法研究,提出了一种基于索引映射的并行处理方法(IMPP)。针对现有MARS系统海量气象数据存档资料更新效率不高的问题,通过采用多线程并行更新技术,提出了一种基于索引映射的并行处理方法。该方法能有效降低元数据物理结构再组织的更新响应时间,从而实现气象科学数据快速归档的目的。
熊安元,赵芳,王颖,张小缨,高峰,邓莉,谭小华,马强[9](2015)在《全国综合气象信息共享系统的设计与实现》文中提出为满足对海量气象数据管理和服务的需求,国家气象信息中心设计开发了全国综合气象信息共享系统(CIMISS)。该文描述了系统基本设计思路、功能结构、基础平台体系结构、信息流程,阐述了系统为用户提供的基础数据使用环境。系统由数据收集与分发系统、数据加工处理系统、数据存储管理系统、数据共享服务系统、业务监控系统5个业务子系统组成,承担数据收集、加工处理、存储管理、共享服务和业务监控任务。系统设计和开发采用了一系列现代信息技术,包括基于消息和文件共享的平台内信息交换、气象数据标准化分类、数据处理作业调度和算法的动态扩展、元数据的设计和应用、公共配置信息管理、全流程业务监视和调度控制、面向服务的多维度数据存储策略、全局数据访问视图和统一访问接口设计等。该系统为我国国家级和省级气象业务提供了统一规范的气象数据使用环境。
欧阳彩虹,马丽云,陈昱宇,朱臻[10](2013)在《基层台站气象档案管理的经验》文中研究说明在分析气象档案特点与来源的基础上,归纳了各类气象档案归档整理的方法,指出了目前基层气象档案管理中存在的薄弱环节,提出了提高基层气象档案管理质量的对策。做好基层台站气象档案管理,需要领导的重视,同时还需要基层台站全体工作人员加强对气象观测资料的爱护,台站档案最好要有专人管理,严格按照气象档案管理办法的要求进行管理,增强档案人员对气象档案的严密性和自身的责任性的意识,有效管理各类气象资料。
二、气象观测资料的归档(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、气象观测资料的归档(论文提纲范文)
(1)基于质量管理体系的基层综合气象业务管理分析(论文提纲范文)
0 引言 |
1 综合业务管理 |
2 过程及职责梳理 |
3 过程实现 |
3.1 设备运行监控与故障远程排除 |
3.2 天气监测分析与预报预警发布 |
3.3 资料整理归档与服务留痕管理 |
3.4 过程总结评估与复盘分析 |
4 资源管理 |
4.1 人力资源 |
4.2 监视和测量资源 |
4.3 能力与技术资源 |
5 结论 |
(2)气象大数据云平台归档系统设计及实现(论文提纲范文)
引言 |
1 归档业务建设需求 |
2 系统设计 |
2.1 系统架构 |
2.2 硬件环境 |
3 关键技术 |
3.1 分布式小集群设计 |
3.2 策略驱动数据归档 |
3.3 多场景数据归档支撑 |
3.3.1 多协议数据归档 |
3.3.2 敏感数据归档 |
3.3.3 转储数据归档 |
3.4 数据回取服务 |
3.5 归档数据全流程追溯 |
3.6 规范化的磁带管理 |
4 结论与讨论 |
(3)气象大数据存储体系设计与实现(论文提纲范文)
0 引 言 |
1 气象数据应用需求 |
1.1 气象数据说明 |
1.2 应用需求分析 |
1.3 业务管理需求 |
2 气象大数据存储体系设计 |
2.1 数据存储整体架构 |
2.2 存储模型选择 |
2.3 数据存储服务流程 |
3 关键技术 |
3.1 存储结构设计 |
1)结构化数据存储方式 |
2)半/非结构化数据存储方式 |
3)数据块存储方式 |
4)归档数据存储方式 |
3.2 数据同步 |
1)结构化数据同步 |
2)非结构化数据同步 |
3.3 数据分级存储 |
3.4 数据统一服务 |
4 应用与展望 |
5 结 论 |
(4)大气污染特征时空分析的自动化提取算法研究 ——以华北平原应用示范为例(论文提纲范文)
摘要 |
ABSTRACT |
1 绪论 |
1.1 研究背景及意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 国内外研究现状 |
1.2.1 大气污染物特征提取遥感数据源的研究进展 |
1.2.2 大气污染物特征分析算法的研究进展 |
1.2.3 时间序列变化趋势分析方法的相关研究进展 |
1.3 研究思路和技术路线 |
1.4 研究内容 |
1.5 章节安排 |
2 研究数据和方法 |
2.1 研究区域概况 |
2.2 研究数据 |
2.2.1 MODIS产品 |
2.2.2 OMI产品 |
2.2.3 辅助资料 |
2.3 相关概念描述 |
2.3.1 大气参数描述 |
2.3.2 拟合方程及评价指标描述 |
3 大气污染物特征时空分析的自动化提取算法研究 |
3.1 多源大气污染参数产品归档模块 |
3.1.1 数据规范标准 |
3.1.2 多源数据归档与预处理 |
3.2 大气参数自动化提取算法及验证模块 |
3.2.1 大气参数提取及验证算法 |
3.2.2 大气参数反演的验证分析 |
3.3 大气污染参数时空变化趋势分析模块 |
3.3.1 滑动平均算法 |
3.3.2 大气污染参数时空变化特征分析 |
4 基于自动化提取算法的大气污染参数时间变化分析 |
4.1 逐月规律性变化项 |
4.1.1 AOD逐月规律性变化项分析 |
4.1.2 NO_2逐月规律性变化项分析 |
4.1.3 SO_2逐月规律性变化项分析 |
4.1.4 潜在原因分析 |
4.2 季节规律变化项 |
4.2.1 AOD季节规律性变化项分析 |
4.2.2 NO_2季节规律性变化项分析 |
4.2.3 SO_2季节规律性变化项分析 |
4.3 10年年际变化项及其原因分析 |
4.3.1 大气污染特征年际规律性变化项分析 |
4.3.2 大气污染特征年际规律原因分析 |
5 基于自动化提取算法的大气污染参数空间分布特征分析 |
5.1 逐月空间分布特征 |
5.1.1 AOD月均值空间分布特征 |
5.1.2 NO_2月均值空间分布特征 |
5.1.3 SO_2月均值空间分布特征 |
5.2 季节分布特征 |
5.3 年均分布特征 |
6 总结与展望 |
6.1 研究结论 |
6.2 展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文目录 |
(5)省级气象资料归档管理系统设计与实现(论文提纲范文)
0 引言 |
1 归档资料种类划分 |
2 业务流程分析 |
2.1 归档资料收集 |
2.2 归档资料审查 |
2.3 归档资料存储 |
2.4 归档资料检索 |
3 系统功能设计 |
4 系统详细设计与实现 |
4.1 系统架构设计 |
4.2 配置信息管理 |
4.3 建立归档资料库 |
4.4 归档资料收集 |
4.4.1 文件收集 |
4.4.2 文件完整性统计 |
4.4.3 审核后提交归档资料的收发 |
4.4.4 生成归档条目提交归档 |
4.5 归档资料审查与存储 |
4.6 归档资料检索与查询 |
4.7 系统部署 |
5 结束语 |
(6)福建省气象档案资料管理系统(论文提纲范文)
1 背景 |
2 总体设计 |
2.1 需求规定 |
2.2 研究方法和技术路线 |
2.2.1 参考资料 |
2.2.2 开发环境与工具 |
2.2.3 硬件环境 |
2.2.4 网络及安全保障系统 |
2.2.5 技术路线 |
3 系统功能 |
3.1 归档资料分类和存储期限管理 |
3.1.1 归档资料的来源 |
3.1.2 归档资料的分类 |
3.1.3 气象数据存储方式、期限 |
3.2. 气象数据实时在线归档 |
3.2.1 在线收集(如图1) |
3.2.2 完整性检查 |
3.2.3 在线归档 |
3.2.4 归档资料在线反馈补单 |
3.3 归档资料统计分析 |
3.4 归档资料的共享服务 |
3.5 归档资料的在线申请、审批和下载 |
3.6 访问管理 |
3.6.1 系统访问配置 |
3.6.2 用户权限(角色)管理 |
3.7 错误信息与出错处理 |
4 总结 |
(7)省级气象探测资料归档与备份系统(论文提纲范文)
引言 |
1 系统介绍 |
2 系统实现 |
3 结束语 |
(8)气象资料归档与检索优化技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 引言 |
1.2 国内外研究现状 |
1.2.1 国外研究现状 |
1.2.2 国内研究现状 |
1.3 主要研究内容 |
1.3.1 研究内容和目标 |
1.3.2 组织结构 |
1.4 本章小结 |
第二章 多维模型和数据立方体技术 |
2.1 多维数据模型和立方体概念 |
2.2 数据立方体存储 |
2.2.1 维存储 |
2.2.2 度量存储 |
2.3 数据立方体计算 |
2.3.1 多路数组聚集算法 |
2.3.2 BUC算法 |
2.3.3 Star-Cubing算法 |
2.4 数据立方体查询 |
2.5 本章小结 |
第三章 MARS架构及立方体技术应用研究 |
3.1 GRIB与BUFR数据 |
3.1.1 GRIB数据简介 |
3.1.2 BUFR数据简介 |
3.2 MARS数据管理框架 |
3.3 数据立方体技术应用 |
3.3.1 非聚集维—MarsTree |
3.3.2 聚集维—Shape |
3.3.3 物理结构—Layout |
3.4 本章小结 |
第四章 基于MARS检索区域查询优化算法设计 |
4.1 RQ相关问题分析 |
4.2 RQ相关问题分析 |
4.2.1 CTRQ算法模型 |
4.2.2 CTRQ并行优化 |
4.3 实验及结果 |
4.3.1 实验描述 |
4.3.2 结果分析 |
4.4 本章小结 |
第五章 基于MARS归档物理结构重组织优化算法设计 |
5.1 相关问题分析 |
5.2 IMPP算法设计 |
5.2.1 IMPP算法模型 |
5.2.2 IMPP执行算法 |
5.3 实验及结果 |
5.3.1 实验环境与数据 |
5.3.2 实验结果与分析 |
5.4 本章小结 |
结束语 |
致谢 |
参考文献 |
作者在学期间取得的学术成果 |
(10)基层台站气象档案管理的经验(论文提纲范文)
1 气象档案的特点 |
2 各类气象档案归档方法 |
2.1 地面气象记录档案的整理 |
2.2 地面气象记录电子文件的档案管理 |
2.3 气象业务技术档案归档管理 |
2.4 气象文书、照片档案、会计档案、基建档案、实物档案的管理 |
3 当前基层气象档案管理中存在的薄弱环节 |
4 提高基层气象档案管理质量的对策 |
4.1 档案员、观测员应注意的细节 |
4.2 完善和健全档案管理制度,充分落实档案管理责任,科学管理气象档案 |
4.3 档案员对档案室的管理应注意的细节,加强对原始旧气象观测资料的保管 |
5 结语 |
四、气象观测资料的归档(论文参考文献)
- [1]基于质量管理体系的基层综合气象业务管理分析[J]. 刘敏,薛小宁,贺彩萍. 中低纬山地气象, 2021(05)
- [2]气象大数据云平台归档系统设计及实现[J]. 刘媛媛,何文春,王妍,李江涛,白金婷. 气象科技, 2021(05)
- [3]气象大数据存储体系设计与实现[J]. 徐拥军,何文春,刘媛媛,王琦. 电子测量技术, 2020(22)
- [4]大气污染特征时空分析的自动化提取算法研究 ——以华北平原应用示范为例[D]. 周致丞. 河南大学, 2019(01)
- [5]省级气象资料归档管理系统设计与实现[J]. 闫荞荞,刘莹,刘园园,仵璇. 气象水文海洋仪器, 2017(01)
- [6]福建省气象档案资料管理系统[A]. 林荔. 第33届中国气象学会年会 S20 气象信息化——业务实践与技术应用, 2016
- [7]省级气象探测资料归档与备份系统[J]. 刘俊娜,唐怀瓯,季永华. 电子世界, 2015(21)
- [8]气象资料归档与检索优化技术研究[D]. 许婧. 国防科学技术大学, 2015(04)
- [9]全国综合气象信息共享系统的设计与实现[J]. 熊安元,赵芳,王颖,张小缨,高峰,邓莉,谭小华,马强. 应用气象学报, 2015(04)
- [10]基层台站气象档案管理的经验[J]. 欧阳彩虹,马丽云,陈昱宇,朱臻. 广东气象, 2013(01)