当前,我们正处于第三、第四次工业革命的交接期。回顾工业革命的历史,第一次和第二次工业革命主要解放的是人的体力,而从二十世纪四五十年代开始的第三次工业革命则实现了从体力解放到脑力解放的大跨越。随着物联网、云计算,特别是人工智能技术的发展,由数据驱动的第四次工业革命正以势不可挡的力量席卷而来。
数据,可以说是新一轮工业革命的关键要素。那么,该如何让数据更有价值呢?日前,HitachiVantara举办了媒体交流会,分享了他们的解决方案。
2019年,全球正式进入5G时代。因5G具有更高的速率、更大的容量和更低的时延,将使应用场景由传统的移动互联网拓展到移动物联网,服务对象从传统的人与人通信拓展到人与物、物与物通信。随着终端设备的增多,直接产生的数据量也将迎来大幅度的增长。
对于企业来说,海量的数据意味着巨大的商机。当然,数据的价值,不仅仅在于拥有海量的数据信息,更重要的是对这些具有意义的数据进行专业化处理,从中提取有价值的信息。曾有一位分析师讲过,数据科学家只有5%的时间在写代码,剩下95%的时间在准备数据,完成数据的抽取、清洗、治理,他们大部分时间干了一些数据管道工的工作,而不是有价值的工作。
Hitachi Vantara中国区数据与分析业务总监于希国指出,“要想提升工作效率就需要有一个中台的支撑。目前,来自于数据分析市场的挑战有许多,其中包括:今天有很多服务像很多微服务,发起的时候,传统的有个请求需要后台跟IT过来做,现在的业务越来越多,IT已不堪其负。另外,每家公司的数据仓库产品都是独立的数据孤岛,这为后续的数据分析造成了很大的麻烦。面对这些挑战,需要的是整体的平台、一个管道,实际上我们讲‘要想富先修路’,数据管道、数据中台就是这个概念。”
近年来,随着机器学习、人工智能、大数据分析的发展,中台的概念就变得愈发火热。于希国表示,“实际上,中台的概念在我们公司叫DataOps,是在数据的消费者和数据的管理者之间建立一个很好的连接,使得在之前的微服务获得后边数据平台的数据湖很好的支撑作用,或者说使得我们今天所谓的大数据分析更加平民化,更加自动化,更加接地气,这是很重要的一点。”
据介绍,Hitachi Vantara的Pentaho解决方案为用户提供的单一数据集成平台和精益数据管理流程大大简化了数据提取工作,并将提供给用户的数据标准化。因为这一过程被自动化,所以企业不用再为确保自己的数据管理和应用合规而花费过多的时间和精力。
与此同时,Pentaho可以将多种大数据源结合在一起,打破数据孤岛;通过不同语言和机器学习库的集成,使数据科学家能够更快地、无缝地训练、调整、构建和测试其模型;此外,Pentaho允许数据专业人员轻松地将数据科学家开发的模型直接嵌入到运营工作流中,并以自动化流程进行模型的更新等。
据了解,Pentaho提供了两个版本,一个是开源版,另一个是企业版。“开源是一个先进生产力,如果没有开源技术的发展就没有这么快,拥抱开源是这个时代的财富,使得我们快速进入到第四次工业革命时代。当然,Pentaho开源版和商业版还是存在差异的。1、更新频率不同,开源版的更新相对比较随机,而企业版是有一个按部就班的更新;2、有很多高级的功能开源版起初是没有的,可能随着时间推移会有。3、实际上开源协议的概念,如果用了开源版,开发出来的东西也需要开源。”于希国说。
2019年7月,Hitachi Vantara发布了Pentaho 8.3。该版本引入一系列支持DataOps的功能设计。DataOps是一种协同数据管理实践方案,利于充分挖掘客户数据价值。Pentaho 8.3还在确保客户数据的隐私、安全性和整体数据治理的前提下,帮助客户从边缘到多云环境中获得更高的数据敏捷性。
IDC白皮书显示,2018年,全球数据体量达到了33ZB,但得到分析利用的数据只有2.5%,也许潜在的变革就藏在未被分析的97.5%的数据里。如何探索所遗漏的部分,更大限度发掘数据的价值,Hitachi Vantara用Pentaho回答了这一问题。