建设一个统一、开放、集约的平台,将气象部门海量的数据、庞杂的业务系统收归一处,让信息畅通无阻,观测、预报、服务间的融合协作也变得前所未有的便利高效——多年以前,这些设想只是“空中楼阁”,但如今随着气象大数据云平台的业务化运行一一照进现实。“天擎”这个“数算一体”的支撑平台,正成为气象业务与研发高度集约的“云+端”新业态最可靠的支柱。
成长 迎难而上 筑牢“云+端”业务技术体制基座 将风云变幻用观测数据记录下来,再通过复杂的运算得出预报,最终转化为丰富多样的服务产品,气象业务链条从头到尾,都高度依赖数据与信息的顺畅流转。建立一个集约、稳定而高效的信息系统,一直以来都是气象工作者的理想。 跨入新时代,随着信息技术的快速发展,以及气象业务对拥有集约高效系统的愿望越来越强烈,“天擎”因势而生,肩负起夯实“云+端”业务技术体制基座的重任。 01 因势而生 2017年12月,是“天擎”建设的起点。 12月11日,《气象大数据行动计划(2017-2020年)》发布,提出统一设计建设开放互联的气象大数据云平台。12月26日,《气象信息化发展规划(2018-2022年)》印发,明确建设“专有云+公共云”模式的气象大数据云平台。 国家气象信息中心系统工程室副主任何文春参与了“天擎”建设全过程。他认为,从起步阶段开始,“天擎”的定位就非常明确,“集约”是其中最明显的特征。这个新生的平台,将汇聚、共享、开放与应用气象数据资源,推进气象应用融入其中,建成智慧气象生态体系,支撑气象数据资源开放共享和跨领域融合应用,提升气象信息系统集约化水平和应用协同能力。 彼时,全国综合气象信息共享平台(CIMISS)刚刚解决国省应用统一数据源的问题,但各业务单位、业务系统间的“信息孤岛”“应用烟囱”问题仍未解决,资源浪费现象突出。如何在数据集约的基础上,实现“数算一体”更高层次的集约?“天擎”的设计需要慎重考量。 从国家级到省级,气象业务系统十分庞杂。要将各不相同的系统顺利融为一体,必须有的放矢,以需求为引导。2018年1月,国家气象信息中心联合各国家级业务单位和部分省级气象局,组建34人的设计团队,开始设计气象大数据云平台。设计初稿完成后,又全面征集反馈情况,吸纳改进建议82条,最终历时9个月时间,完成《气象大数据云平台设计方案》。“天擎”的建设工作,正式启动。 02 攻坚克难 数十年来,各级气象部门根据各自需求,建设了数据规范、系统架构、编程语言等各不相同的数百个业务系统。要构建一个兼容并包的平台,实属不易。 与互联网“大厂”建设云平台不同的是,气象大数据云平台建设面临着堪称严苛的算法兼容问题。以数值预报为例,我国的模式研发起步于20世纪80年代,许多核心算法仍采用诞生于1957年的Fortran语言或1972年发行的C语言。要想从底层重构这些算法,既不现实也无必要,因此就需要增强兼容性,让来自“旧时代”的程序顺畅地运行起来。 相比个别算法的兼容,业务系统的整体融入则是一项更为系统的工程。何文春介绍,过去气象业务系统各自“立烟囱”的现象之所以广泛存在,最大的原因就是各个系统有不同的需求,靠单一的模式无法完全满足。作为首个融入“天擎”运行的业务系统,气候监测预测分析系统(CIPAS)就有这样的独特需求。 进行气候监测预测分析,需要很多带地理信息标记的气象数据。按照“天擎”当时设计的五种存储技术,处理这种数据需要在提取气象数据和地理信息后,再将二者进行叠加。对于CIPAS而言,这样的模式会导致业务运行效率降低。因此,技术团队与业务人员充分沟通,为“天擎”增加了存储自带地理信息和气象数据的空间分析库。这样一来,CIPAS的业务需求得到了满足,而“天擎”的支撑能力也得到进一步提升。 以“云原生”姿态诞生在“天擎”上的西北人工影响天气作业指挥系统,面临的则是完全不同的挑战。由于后续新业务系统都将采用“云原生”模式,因此直接在云上开发的这一系统,需要为后来者“打样”。经过统一开发后,西北人工影响天气作业指挥系统“标准化”权威尽显,在内蒙古、甘肃、陕西、青海、宁夏、新疆完成规范化部署仅用了不到三周时间。 需求与研发相互促进。以这样的模式,“天擎”于2019年7月发布了国家级1.0版本,具备海量数据存储、全业务贯通、数据高效应用等能力。接下来,这个平台还需铺向全国。 03 拔节生长 在省级气象部门部署“天擎”并不是一项容易的工作。一方面,“天擎”构建于全新的大数据、云计算技术,技术门槛高;另一方面,“天擎”作为新业务技术体制的基座,规模庞大。CIMISS建成以来,省级技术力量得到增强,但对“天擎”的部署而言,仍有不足。 面对这样的形势,技术团队采取开放合作的方式,大力引进省级技术人员开发建设,先后有50名来自省级气象部门的技术人员参与。他们带着需求来,带着技术回,成为“天擎”在省级顺利部署的骨干力量。2019年12月,31个省级气象部门完成部署。 国省之间紧密合作,国家级业务单位之间同样充分联动,有7人先后带着需求参与建设。在国家气象信息中心内部,负责开发建设的系统工程室与负责用户服务的资料服务室、负责运行维护的运行监控室配合更亲密无间。 在“天擎”一步步成型的过程中,人才也在不断成长。自投入“天擎”建设以来,团队中有2人被聘为专业技术二级岗,3人晋升正高职称;5人入选中国气象局高层次人才,包括1名气象领军人才、1名首席气象专家、2名青年气象英才、1名西部和东北优秀气象人才;4人被聘为中国气象局重点工程副总指挥或副总师,10人被聘为一级系统总师或副总师;8人入选国家气象信息中心或省局高层次人才。 今年12月15日,“天擎”经过近一年的试运行后,正式业务运行,但“天擎”的建设工作,却还远远没有结束。多数国家级、省级业务系统尚待融入,人工智能等先进技术在大数据云平台上的应用有待攻关。未来,在建设过程中培养出的技术团队,将成为“天擎”进一步拔节生长最重要的原动力。
优势
“数算一体” 将带来哪些改变?
12月15日8时,气象大数据云平台“天擎”正式业务化运行,面向全国提供“数算一体”平台化服务。由于“天擎”在试运行中表现出色,这次切换因在情理之中而显得“悄无声息”,但隐藏在平静的表面下的,则是“天擎”为气象业务带来的全方位、全链条升级。 01 推动观测预报服务有机融合 以预报精准为龙头,带动监测精密和服务精细发展。要实现这样的发展模式,“天擎”是必不可少的基础。 各类业务系统融入“天擎”,并不仅仅意味着其在此运行和获取数据,在业务运行中产生的数据和产品,同样可以通过“天擎”进行规范化分享。这样一来,各类观测、预报、服务业务系统之间的距离就被前所未有地拉近,预报业务系统可以更高效地获取各类观测数据,服务系统可以更好地利用预报结论,各个系统之间共享数据、协同合作得以无缝衔接。 02 极大丰富数据资源 “天擎”提供了完整的数据资源。截至12月15日,“天擎”已经全面整合CIMISS原有数据、历史归档数据、各类数据集及汇交数据,大幅增加国内外资料时间序列长度;数据资料达611种,记录数达2214.9亿条,每日新增2.96亿条;全球地面、高空、海洋百年序列最早延伸至1901年,全球飞机报序列由4年延长至43年,雷达基数据序列由2年延长到13年。相比CIMISS,气象大数据云平台的数据完整性、数据质量均有不同幅度提升,资料元数据信息更完整、质量更高。 “天擎”提供了实时历史一体化的高效数据服务。应用系统建设者或开发者,无需从各种来源寻找数据,建立收集渠道、数据清洗、解析存储,只需申请数据使用账户,选择应用需要的数据,即可高效访问。 03 提升数据利用效能 “天擎”通过升级完善的数据存储技术,进一步降低了业务运行的时间成本。基于消息中间件、数据流、文件传输、卫星广播以及网络爬虫技术,“天擎”建立了多协议支撑的数据交换体系,能够主动发现、自动收集各类数据,收集的同时即可处理。 针对气象业务特点,“天擎”构建了分布式存储体系,面向应用对数据进行再组织。面向天气预报等对实时性要求高的数据,采用分布式表格系统,访问时效达毫秒级;面向气候等长序列分析应用,采用分布式分析型数据库,分析时效达到秒级。此外,针对中间结果、实验数据等自用数据,支持个性化存储,存储空间一次分配、自由使用。 04 降低应用开发成本 “天擎”提供了丰富的算法和算力资源,可有效降低应用开发成本,缩短上线周期。作为应用系统建设者或开发者,无需进行硬件资源的采购、安装、部署和维护,只需提交应用融入方案,申请算法运行依赖的算力资源。同时,也无需对应用需要的所有算法进行开发,通过申请使用算法库中共享的算法,实现算法复用,众智共享。 对于应用中产品加工需要的存储资源,通过申请“天擎”应用专题库,不必自建独立数据库,大大降低运维成本,提高数据共享水平,有利于进行多源数据联合分析。业务中产品的加工和生成,不仅需要相应的数据和算力,还需建立任务调度框架。“天擎”提供的加工流水线,实现了多种任务引擎调度,包含时间触发、数据源触发、事件触发等,算法选择相应的调度引擎即可配置任务,应用只需关注算法实现逻辑。
融入
全面“云化” 增效数倍
自“天擎”建设以来,各级气象部门业务系统陆续开展融入工作,高效协同效益初步显现。目前,“天擎”7×24小时不间断运行,国家级及31个省级持续运行可靠性超过99.9%,国家级和省级的任务调度成功率均达100%,调度延迟控制在毫秒级。 气候监测预测分析系统(CIPAS) 融入情况:系统架构全面“云化”,系统性能全面提升。 CIPAS融入后系统架构全面“云化”,实现数据、流程、平台和监控全面融入。系统以预报员体验为中心,在数据访问、加工、算法运行、图形可视化与产品生成等方面的性能得到全面提升,数据平均查询时间缩减超过50%,70%以上需要长时间计算、定时生成的产品改为实时交互获取;实现CIPAS3.0全国一级部署、业务试用。 西北区域人工影响天气作业指挥软件系统 融入情况:“云原生”开发,规范化部署便捷高效。 该系统基于“天擎”完成“云原生”模式的研发,并在6个省份完成统一规范化部署。第十四届全国运动会期间,基于“天擎”提供的稳定计算和存储资源支撑,该系统圆满完成保障任务。 集约化网格预报新流程 融入情况:在预报实时订正和预报一致性方面发挥关键作用。 基于“天擎”国省“一张网”,国家气象中心与北京、河北建成从网格预报制作到数据应用全链条的智能网格预报新流程,并基于这一新流程加工制作2022年冬季奥运会赛区及周边城市站点预报。从预报员订正发布,到应用系统获取修订的预报信息,全流程仅需数十秒,在预报实时订正和预报一致性方面发挥关键支撑作用。 综合气象观测业务运行信息化平台(“天元”) 融入情况:数据与算法集约管理,冗余度降低30%。 “天元”是首个完成改造并融入“天擎”的核心业务系统。融入后,数据与服务资源的集约化能力提升50%以上,产品加工时效提升30%以上,支撑了观测业务的信息化高效运转,并为后续项目融入提供参考示范;实现元数据“天擎”统一服务。 区域高分辨率数值预报检验评估系统 融入情况:数据读取效率有效提升,推动算法集约化管理。 该系统完全基于“天擎”开发建设,实现区域数值预报降水的传统检验、空间检验和过程评估,以及近地面要素检验。数据读取效率有效提升,实现模式数据与观测数据的直存直取。基于“天擎”产品加工流水线切实推动算法集约化管理,完成系统软硬件的实时监控。 雷达估测降水系统 融入情况:系统流程优化,时效提升近一倍。 实现雷达基数据从“天擎”读取、算法基于加工流水线调度运行、雷达产品回写“天擎”,以及基于“天镜”的全流程监视。系统融入“天擎”后,流程更优,减少了数据搬运环节,数据源直取、产品直存,产品服务时效提高近一倍。 宁夏智能化综合气象业务服务共享管理平台 融入情况:数据入库时效提升一倍,业务系统查询、统计数据效率提高3~4倍。 数据、算法、系统、监控等同步开展融入工作,核心业务系统实现功能模块重构。依托“天擎”的存储和算力资源,业务系统运行效率得到显著提升,数据入库时效提高了一倍,业务系统查询、统计数据的效率提高了3~4倍。 湖北省气象预报服务业务一体化平台 融入情况:100余种业务服务产品接入,82个算法剥离入“云”。 核心系统全面融入“天擎”,消除自建数据库,100余种业务服务产品接入,82个算法剥离入“云”。融入后业务流程更加规范,数据及时性、算法运行效率和硬件资源利用率均显著提升。