MCPLive > 杂志文章 > 发现新商业价值 大数据时代来临

发现新商业价值 大数据时代来临

2012-09-17微型计算机《微型计算机》2012年9月上

我们目前处于数据大爆炸的起始阶段:在2006年,个人用户才刚刚迈进TB时代,全球一共新产生了约180EB的数据;在2011年,这个数字达到了1.8ZB。而根据IDC的预测,到2020年这个数字将扩大50倍。从B(Byte)、KB、MB、GB、TB,到PB、EB、ZB、YB……,数字宇宙的边界不断扩大。大数据时代,正在到来。在大数据时代,单个组织的数据级别开始大幅膨胀,已经从T B级跃升至PB级;而且数据结构也与以往大不相同,其中超过80%都是非结构化数据。爆炸性增长的数据为企业带来了新的机遇和挑战:一方面,数据的不断更新扩张给数据存储、管理和分析利用带来了挑战;另一方面,这些包括个人信息、消费记录在内的海量数据当中,蕴含着大量有价值的信息,可以为企业经营、管理提供参考。

大数据时代的数据增长

大数据时代的典型特征,就是数据来源和数据量的爆炸性增长。终端方面,我们常见的电脑、手机等设备随着互联网的成熟和移动互联浪潮的来临,数量已经达到了相当庞大的地步。在中国,截止2012年6月,移动用户和互联网用户分别达到了3.88亿和5.3亿。与此同时,随着智慧城市、物联网等新兴应用模式的发展,各种摄像头、数字标牌、感应装置、检测装置以及嵌入式终端的数量也在急剧增加。有关数据预测显示:作为物联网重要组成部分的RFID标签2011年的销量仅为1200万个,到2021年其销量将高达2090亿。

在数据来源急剧增加的同时,能够持续产生各种数据的应用数量也在大幅增加。无论是以Facebook、Twitter为代表的个人社交网络及信息网络应用,还是以智能数据标牌、GPS为代表的嵌入式智能终端应用,都无时无刻不在产生着大量的非结构数据。近几年我国正在加速建设的智慧城市,同样会产生巨量的数据。据统计,中国某一线城市一年产生的健康档案数据就达到5PB,一个季度产生的智慧城市数据则高达200PB。

我们正处于数据大爆炸的起始阶段
我们正处于数据大爆炸的起始阶段

大数据的价值

所谓大数据,一般具有以下几个特点:首先是数据量大,已经从TB级跃升至PB级。其次是不同于传统的数据结构,大数据时代的数据结构比较复杂,超过80%都是非结构化数据,比如道路上的视频监控数据、网上的流媒体数据、物联网中RFID的感应数据,以及社交网络上产生的各种数据等。第三是数据更新快,比如视频监控每秒钟都在进行,微博随时都有人在更新。后是对数据的随机访问,这些更分散的数据在存储后被再次访问的时间是不确定的。比如在某一天,你需要从监控录像中找出某个人,那么就需要能够迅速地查找、调用、分析之前保存的数据。

麦肯锡在关于大数据时代的研究报告中指出,数据已经渗透到了每一个行业和业务职能领域,逐渐成为重要的生产因素;人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。在互联网时代,数据本身就是资产,而大数据则意味着这些资产正在变得庞大无比。虽然云计算可以为数据资产提供保管的场所和访问的渠道,但如何盘活数据资产,使其为国家治理、企业决策乃至个人生活服务,则是大数据时代的核心问题。

在大数据时代,通过企业及社区网络、移动智能终端、传感器及物联网、定位及地理信息设备,人们每天、每时、每刻都在产生着大量的视频、语音、图片、文字、产品信息、地理信息、时间信息等非结构化数据。在这些数据当中,埋藏着消费者的消费习惯、市场变化、品走势以及大量的历史记录,这些关键数据对于企业和组织的运营和发展至关重要。

大数据对IT解决方案提出更高要求

在大数据时代,超过80%的数据都是非结构化的,这些数据正在持续不断地增加,并且需要长时间存储,非热点数据也会被随机访问。这种情况与传统的、基于关系型数据库的核心数据存储方式有显著的差异。这种差异,使得传统的数据存储和管理解决方案无法胜任大数据时代的分析、管理和挖掘工作。

传统的关系型数据库以及数据分析软件处理的结构化数据通常是GB级别的,无法适应大数据时代TB、PB级复杂数据类型的检索分析。同时,因为大数据时代数据每时每刻都在快速增长,传统解决方案也无法适应这种近乎无限的扩张性。为了适应大数据时代的到来,企业需要从技术、应用、硬件等各个层面做好准备,采用更新的I T解决方案,才能满足大数据收集、存储、管理和分析的要求。

大数据时代的IT解决方案,需要容纳数量庞大的用户和数据生产者,能够从各种数据来源获得大量的非结构化数据,并对这些海量复杂数据进行分析和挖掘,从而获得真正有价值的数据用于后续的经营。这种应用模式,要求大数据时代的IT解决方案具备可变的数据接口和高效的数据导入、管理、分析、统计技术;能够支持PB级别的数据、支持非结构化以及结构化数据、支持每秒万次级查询,拥有更高的系统可靠性以及更高的统计分析效率。

各种新终端、新应用正在持续不断地制造着海量数据
各种新终端、新应用正在持续不断地制造着海量数据


如何发掘出大数据中的关键信息是需要解决的问题

传统数据与大数据之间有明显的差异
传统数据与大数据之间有明显的差异

大数据时代的掘金之旅

在大数据时代,数据的爆炸性增长只是客观现实,更重要的内涵在于,在这庞大的数据当中蕴含着大量的关键数据。在经过分析提炼之后,这些关键数据将创造巨大的经济和社会价值。麦肯锡在2011年一份研究报告中表示:至2020年的10年间个人位置信息服务创造的价值可能高达8000亿美元。而这,只是数据价值的一个小部分。在经济学概念中,生产力要素包括了三个方面:劳动者、劳动资料和劳动对象。在以往的经济运行过程中,充作劳动对象的往是包括石油在内的各种矿产资源、生物资源及其加工品;而在大数据时代,数据将成为新的生产力要素。《经济学人(The Economist)》杂志在2010年的一篇文章中就指出:“数据日益成为商业的新源材料:一种与资本和劳动力并列的新经济元素。”Gartner更是直截了当地表示:“信息将成为21世纪的石油。”在大数据时代,如何在大数据这座不断扩张的矿山中,挖出真正有价值的“钻石”,成为了决定企业在新时代成败的关键。

大数据的分析利用将给各行各业提供新的发展机遇
大数据的分析利用将给各行各业提供新的发展机遇

构建智慧城市同样离不开大数据技术的支持
构建智慧城市同样离不开大数据技术的支持

大数据,下一个黄金增长点!

大数据不仅仅是指日渐膨胀的复杂数据,更描绘了一个正在快速发展的生态系统,从新技术、新技能、新实践到崭新的商业模式。在这个新的生态系统当中,企业和组织必须建立对大量的、不断增长的、多样的、多维的、结构化以及非结构化数据体系架构。这一体系架构的基础,就是针对大数据的捕捉、存储、聚合、管理和分析的技术和能力。基于新存储介质以及存储虚拟化的智能分层存储系统、全新的高性能计算平台、用于大数据处理的分布式系统基础架构,构成了大数据时代基础设施的基石。

对于企业而言,大数据时代爆炸性增长的数据既是巨大的机遇,也将是巨大的挑战。在大数据时代,IT解决方案既要能够更高效、低成本的存储和管理,也要能够更快速、灵活及稳定的检索和分析。无论是商业模式快速更新的互联网行业,还是日益信息化的电商、物流、零售等行业,以及智能城市、物联网、移动网络等等方面,要想立足于新时期并获得更好的发展,都需要顺应大数据时代的趋势。为了适应大数据时代的到来,企业和组织需要依托新的大数据生态系统,从技术、应用、硬件等各个层面做好准备,采用更新的IT解决方案,以满足大数据收集、存储、管理和分析的要求。通过对大数据进行分析挖掘,找出有价值的信息,促进企业和组织发展。

中国的大数据时代

大数据时代的核心应用就是对已知的数据进行分析来为未来发展和企业经营提供参考。作为一个人口大国,中国在大数据时代拥有巨大的机会和挑战。机会在于,我国拥有世界上多的人,从而可以提供多的数据以供分析挖掘。而挑战则是,我们怎样才能从海量的数据中找出价值。凭借庞大的人口基数和市场,我国各行各业的规模都在不断扩大,从而制造出庞大的数据。电商、快递、企业的网站和IT系统都承载了大量的数据;传统的大型超市、卖场、商场也集聚了大量的信息。特别是移动互联浪潮下各种手持智能终端的普及和定位设备的应用,也在不断产生大量的数据。如果能够对这些数据进行分析挖掘,找出有价值的信息,就能够大大促进中国企业的发展。比如,电信运营商可以对客服中心的数据进行分析来建立客服中心智能辅助平台,帮助运营商把客服中心从成本中心转变成营销中心;汽车厂商可以分析各大汽车论坛用户的海量评论来监控品牌口碑及舆情;电商企业可以分析用户的各种历史数据来挖掘用户的喜好,从而实现精准营销。

面对大数据带来的机遇和挑战,我国政府在物联网“十二五”规划上把信息处理技术作为4项关键技术创新工程之一提出,其中就包括了海量数据存储、数据挖掘、图像视频智能分析等大数据相关的重要技术。而另外3项关键技术创新工程,包括信息感知技术、信息传输技术、信息安全技术,也都与大数据密切相关。另一方面,作为IT领导企业,英特尔也提出了“大数据时代 与中国共赢”的口号,共同推动大数据在中国的发展。

写在后

大数据的到来已经无可阻挡,这将考验我们的技术是否跟得上数据的爆炸。比如,智慧城市的建立将改变现在的城市生态,但是作为信息采集源头的数万个摄像头,如果通过实时高效的图像分析而实现有机结合,就是我们需要解决的问题。如何将产业链上的每一环都紧紧扣在生态系统周围,使之发挥大的能动性,对各个领导厂商来说都是挑战。在电信、石油、交通、医疗以及制造等行业,同样是这一生态系统中的一环。信息就是资源,谁掌握了“据”,谁就掌握了未来。英特尔将利用各种软硬件技术资源,帮助合作伙伴发掘数据价值,从而应对大数据时代的挑战。

分享到:

用户评论

用户名:

密码: