气象大数据时代已经来临。
如何交付可信、安全的信息并最大化挖掘气象数据的价值?
这需要我们构建合理的数据治理体系,走上信息集合、 治理有序、价值聚变的良性道路。
受访嘉宾:国家气象信息中心副主任、正研级高工 曾沁
50年前,说起气象数据,人们的思维还仅仅停留在大气圈。
随着时代的发展,气象如同一把“盐”,融入了社会的方方面面。人们对气象数据的需求同样与时俱进,大气、地表、海洋乃至碳循环、动态植被,都已经纳入气象数据的涵盖范围。
如今,气象大数据时代已在眼前,实现监测精密、预报精准、服务精细,服务生命安全、生产发展、生活富裕、生态良好,都离不开气象大数据的支撑。
科学的数据治理,正是催生大数据实现大价值的必由之路。
数据治理并不是一个新概念,但由于大数据时代的到来,它在今天变得前所未有的热门。
国际数据管理协会(DAMA)为数据治理给出定义:对数据资产管理行使权力和控制的活动集合。
元数据管理,主数据管理,数据标准、质量、交换、资产、安全、生命周期管理……数据治理涵盖的范围非常广泛。
简单地说,数据治理着重于交付可信、安全的信息,以辅助业务决策、提升流程效率,并最大化数据的价值。
对于以欧洲中期天气预报中心为代表的发达气象机构而言,数据治理已经行之有年,他们正走在信息集合、治理有序、价值聚变的良性道路上。
而我国气象部门目前还缺乏较为完备的数据治理体系,存在着数据标准系统性不强、数据质量参差不齐、各环节存在一定程度的孤岛现象等问题。
基于这样的现状,构建数据治理体系就显得尤为重要。
在知识管理领域,有一套著名的DIKW分级模型。它将数据分为四个层级,由低到高分别是数据(Data)、信息(Information)、知识(Knowledge)及智慧(Wisdom)的体系。
对于气象数据而言,这个模型同样能够适用。
结合气象数据的例子,就可以直观地了解这个分级模型:
从最底层的观测结果到最高层的智慧,数据就是在这样的阶梯中上升,递增中产生巨大的价值。
如果放宽视野,无论是气象业务,还是气象部门自身政务等各类事务,都无时无刻不在产生着巨量的数据,而这些数据,都可以用同样的模型进行组织管理,最终实现价值的升华。
在这样的进化与升华过程中,标准始终发挥着举足轻重的作用。
PDCA循环式品质管理认为,通过规划(Plan)、执行(Do)、核查评估(Check)、修正(Act)循环的方式,能够形成提高质量的闭环,而在这个过程中,每前进一步,都少不了作为“台阶”的标准。
由此可见,气象数据的标准化,是形成数据质量提升“ 闭环”不可或缺的前提,同样也是气象大数据治理的重要组成部分。
在这个过程中,还要对气象数据进行质量管理(质量评估、质量控制、实时质量监视、质量问题反馈),保证其准确性、及时性、完整性、一致性、合规性和可访问性。
而实施数据安全管理是数据作为生产要素市场化配置的重要前提,必须明确数据安全分级,确保数据合规、保护产权隐私、规范操作行为。所有数据治理行为,均需贯穿于需求、收集、处理、存储、服务到退役全生命周期的规划管理之中。
如今,气象部门正在全力推进气象大数据云平台建设,其“云+端”的设计,将带来大量业务系统的融入,平台体量必然越来越大。在这个时刻,数据治理的介入显得尤为必要。
在这一轮业务融入大数据云平台的推进过程中,跨系统、跨业务的数据复用尚有不足,长此以往,可能面临个性化数据膨胀的新问题。
而融入了数据治理的“云+端”2.0系统,将把数据复用能力沉淀下来,形成一套数据资产化体系。
这样一来,数据将能够灵活高效地服务于各类业务,数据虽然越用越多,但却会越来越好用。
与数据类似的,还有同样即将融入大数据云平台的各类算法。当平台上建立起算法库后,开展有效的数据治理,可以对“算法+数据”进行再提炼,形成算法越融越多、越来越具有普适性的良性循环,进一步实现算法沉淀和知识沉淀。
在数据治理的帮助下,大数据云平台才能承托起值得用户信赖与依靠的气象大数据中心。
来源|中国气象数据网、中国气象报社以及网络