注册 登录  
 加关注

网易博客网站关停、迁移的公告:

将从2018年11月30日00:00起正式停止网易博客运营
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

杨鸿智-后现代理论医学博客

《后现代医学》、《正反馈医学》、《自体原位器官重构技术》

 
 
 

日志

 
 
关于我

这是一个宣传后现代理论医学的博客.后现代理论医学是以系统理论为指导的新医学.该理论认为,在生命组织中干细胞是决定机体功能状态最基本的因素.通过调节机体内环境和为干细胞提供再生所需要的物质和能量,就可以使干细胞在患者体内原位再生,实现器官重构,使器质性病变得到治疗.现在,已经在北京医药信息学会内成立了后现代理论医学专业委员会,杨鸿智是主任委员.

网易考拉推荐

(6)大数据产生的历史背景  

2013-07-15 20:18:19|  分类: 干细胞病 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

6)大数据产生的历史背景

2013-03-22 15:11

赵国栋/易欢欢

清华大学出版社

 

提要:

 

1.信息基础设施持续完善,包括网络带宽的持续增加、存储设备性价比不断提升,犹如高速公路之于物流,为大数据的存储和传播准备物质基础。

 

2.互联网领域的公司最早重视数据资产的价值,最早从大数据中淘金,并且引领大数据的发展趋势。

 

3.云计算为大数据的集中管理和分布式访问提供了必要的场所和分享的渠道。大数据是云计算的灵魂和必然的升级方向。

 

4.物联网与移动终端持续不断的产生大量数据,并且数据类型丰富,内容鲜活,是大数据重要的来源。

 

信息科技进步

 

如果把信息技术的不断进步看成世界万物持续数字化的过程,则会理出一条清晰地主线。信息科技具有三个最核心和基础的能力:信息处理、信息存储和信息传递,几十年来这三个能力的飞速进步,是人类科技史上最为激动人心的故事之一。

 

现代意义上计算机的发明,归功于军事上的需要。1946 2 14 日,由美国军方订制的世界上第一台电子计算机——“电子数字积分计算机”在美国宾夕法尼亚大学问世,主要是为了满足计算弹道需要而研制的。“电子计算机”的称谓的确名副其实,其最初的目的就是为了更迅速的进行大量数学运算。

 

数学一直是计算机学科的基础,尤其是离散数学,奠定了计算机学科的理论基础。人们把计算机之父的桂冠戴在两位数学家的头上,分别是艾伦·图灵①和约翰·冯·诺依曼。迄今为止,人类都把图灵机作为现代智能类工具的鼻祖。美国计算机协会(ACMAssociationfor Computer Machinery)于1966 年设立图灵奖,专门奖励那些对计算机科学研究与推动计算机技术发展有卓越贡献的杰出科学家。它被公认为计算机界的“诺贝尔”奖。以他命名的图灵机是一个二进制计算的抽象理论模型,并不是计算机的工程设计。冯·诺依曼②则被公认为是现代计算机(工程实现)的鼻祖,他领导的小组提出了完善的计算机设计报告。

 

1965 年,戈登·摩尔(Gordon Moore③)——英特尔公司的创始人之一,准备了一个关于计算机存储器发展趋势的报告。在他开始绘制数据时,发现了一个惊人的趋势:每个新芯片大体上包含上一代芯片两倍的容量,每个芯片的产生都是在前一个芯片产生后的18~24 个月内。如果这个趋势继续的话,计算机的计算能力相对于时间周期将呈指数式上升。简而言之,“芯片上可容纳的晶体管数目,每隔18 个月左右便会增加一倍,性能也将提升一倍。”后来人们发现这不仅适用于对存储器芯片的描述,也精确地说明了计算能力和磁盘存储容量的发展,于是,摩尔定律成为许多工业对于性能预测的基础,主宰了信息产业的发展。

 

在摩尔定律的指引下,信息产业周期性地推出新的计算机,操作系统和计算能力均在不断提高。工业界和个人都不断地升级计算机设备,从而推动信息产业的巨大进步。每当英特尔公司开发出计算能力更强的芯片,微软公司就会适时推出功能更强大、操作更方便的操作系统。当人们采用了微软的新操作系统后,就会发现系统变慢,不得不升级硬件设备。每当计算机产业发展放缓,硬件生产商就会翘首企盼微软新的操作系统,带动客户新一轮的升级换机热潮。这种循环持续不间断地上演了40 余年。这段波澜壮阔的历史,使信息处理和储存能力获得了成千上万倍的提升。

 

1977 年,世界上第一条光纤通信系统在美国芝加哥市投入商用,速率为45Mbit/s,自此,拉开了信息传输能力大幅跃升的序幕。有人甚至将光纤传输带宽的增长规律称为超摩尔定律。认为带宽的增长速度比芯片性能提升的速度还要快。

 

事实上,存储的价格从20 世纪60 年代1 万美元1MB,降到现在的1 美分1GB 的水平,其价差高达亿倍,如图1-1 所示。在线实时观看高清电影,在几年前还是难以想象的,现在却变得已习以为常了。网络的接入方式也从有线连接向高速无线连接的方式转变。毫无疑问,网络带宽和大规模存储技术的高速持续发展,为大数据时代提供了廉价的存储和传输服务。因而本书假定存储和带宽不再是制约数据应用的因素。

 

互联网诞生

 

互联网的出现,在科技史上可以比肩“火”与“电”的发明。这个伟大的发明同样是由军事目的驱动的。计算机在军方应用得越广泛,计算机上保存的军事机密就越多。人们担心如果保存重要军事机密数据的主要计算机被摧毁的话,很可能就会输掉整个战争,于是,推动计算机之间互相传递数据并互为备份的通信机制被提上日程。1969 年,把分属于不同大学的四台计算机互相连接起来,这就是最早的互联网雏形。

 

互联网把每个人桌面上的计算机连接起来,改变了人们的生活,成为大家获取各类数据的首要渠道。通过互联网获取数据的模式可以被简单地抽象为“请求”加“响应”的模式。理解这种获取信息的方式,有助于理解“大数据”的价值,所以我们多花些笔墨把这个模式解释清楚。

 

互联网上的“脚印”

 

用收音机听广播,或者用电视机看电视节目,都是“广播”加“接收”的模式。不管有没有电视机在接收信号,广播塔总是在发送电视节目信号。随时打开电视机,随时就能收看电视节目。在“广播”加“接收”模式中,广播塔是不知道有谁在接收节目的,如图1-3 所示。

 

“请求”加“响应”模式则不同,如果客户端(所有接入互联网的设备、软件等)不主动要求,服务器端是不会发送任何数据的,如图1-4 所示。互联网应用协议基本上都是这种模式。当然也有“广播”加“接收”模式的协议,但是不常用。每一次访问请求其实就是一次鼠标点击操作,服务器的日志中,忠实地记录下来每个人访问的时间、请求的命令、访问的网址等数据。这些访问记录,就像人们在雪地上行走留下的脚印一样,“脚印”连成一串,构成了人们在互联网上的“行为轨迹”。想一想猎人是怎样通过追踪脚印捕获猎物的,就会明白这些“轨迹”中蕴含着巨大的价值。所以各类服务器上的日志就是一种非常重要的大数据类型。

 

曾经有制作服装的公司想要调查顾客的购买意愿。需要统计顾客拿起了哪件衣服?试穿了哪件衣服?在专卖店逗留了多长时间?这就需要安装摄像头,要选样本,可能花费上亿的资金。要想省钱的话其结果可能会失去参考价值。如果在网上做同样的事情,成本近乎为“零”。大家可以想想,在淘宝网或者京东商城的主页上,每一个网页都相当于一家店铺,打开这个网页就等于进入了店铺;点击了衣服,相当于顾客拿起衣服仔细端详;把衣服放到收藏夹,可以理解为试穿;在实体店中的顾客行为几乎被完整地映射到网页上。不同的是,互联网忠实地记录下“顾客”在“店”里停留的时间、关心的品类;此外,顾客和销售员的对话、顾客与顾客之间的对话,也被忠实地记录、保存。互联网企业做与那家制衣公司同样的调查,成本近乎为“0”。

 

因为互联网的内在机理,使互联网成为大规模接近消费者、最理解消费者的工具和平台。互联网没有删除键,人们在互联网上的一言一行都被忠实地记录。古代皇帝身边总有一位兢兢业业的史官,随身携带纸笔,记下皇帝的起居作息、金口玉言。互联网就像每个人的“史官”,它从不知疲倦,事不分大小,悉心而精准地记录着一切。事实上,这位“史官”记录的就是大家的数字化生活。

 

云计算与大数据

 

云计算,再一次改变了数据的存储和访问方式。在云计算出现之前,数据大多分散保存在每个人的个人计算机中、每家企业的服务器中。云计算,尤其是公用云计算,把所有的数据集中存储到“数据中心”,也即所谓的“云端”,用户通过浏览器或者专用应用程序来访问。

 

一些大型的网站,通过提供基于“云”的服务,积累大量的数据,成为事实上的“数据中心”。“数据”是这些大型网站最为核心的资产。他们不惜花费高昂的费用付出巨大的努力,来保管这些数据,以便加快用户的访问速度。谷歌公司甚至购买了单独的水力发电站,为其庞大的数据中心提供充足的电力。根据一些公开资料显示,谷歌在全球分布着36个数据中心。图1-6 是谷歌公司数据中心内一景,大家可以由此领略到科技之美。

 

这几年国内各地兴起了建设云计算基地的风潮,客观上为“大数据”的诞生准备了必备的储存空间和访问渠道。各大银行、电信运营商、大型互联网公司、政府各个部委都拥有各自的“数据中心”。银行、电信、互联网公司绝大部分已经实现了全国级的数据集中工作。

 

在我们的大数据报告中曾经提了一个观点,引起了广泛的关注和争议:“没有大数据的云计算,就是房地产的代名词①”。云计算确实可以称为一场信息技术领域内的革命,甚至对社会也必将产生革命性的影响,但是它却并不是一场技术革命,云计算在本质上是一场IT 产品/服务消费方式的变革②,云计算中的一个广为宣传的核心技术——虚拟化软件。而这个技术早在20 世纪60 年代就已经被应用在IBM 的大型主机中了。

 

云计算是大数据诞生的前提和必要条件。没有云计算,就缺少了集中采集数据和存储的数据商业基础。云计算为大数据提供了存储空间和访问渠道;大数据则是云计算的灵魂和必然的升级方向。

 

2012 年,业内所有的云计算大会,无论官方背景还是民间主办,都是把“大数据”作为一个核心的主题。甚至有时候都分不清楚,这是云计算的会,还是大数据的会。

 

物联网

 

物联网是另一个信息技术领域的热词,究其本质是传感器技术进步的产物。遍布大街小巷的摄像头,是大家可以直观感受到的一种物联网形态。事实上,传感器几乎无处不在,使用它可以监测大气的温度、压强、风力,监测桥梁、矿井的安全,监测飞机、汽车的行驶状态。一架军用战斗机上的传感器多达数千个。现在大家常用的智能手机中,就包括重力感应器、加速度感应器、距离感应器、光线感应器、陀螺仪、电子罗盘、摄像头等各类传感器。这些不同类型的传感器,无时无刻不在产生大量的数据。其中的某些数据被持续地收集起来,成为大数据的重要来源之一。

 

社交网络

 

社交网络是互联网发展史上的又一个重要的里程碑。它把人类真实的人际关系完美地映射到互联网空间,并借助互联网的特性而大大升华。广义的看,社交网络使得互联网甚至具备某些人类的特质,譬如“情绪”:人们分享各自的喜怒哀乐,并相互传染传播。社交网络为大数据带来一类最具活力的数据类型,人们的喜好和偏爱。更重要的是,人们还知道在社交网络中,如何利用网民的关系链来传播这些喜好和偏爱。这就为研究消费者行为打开了另一扇方便之门。如果深入地分析社交网络,就会发现,大型的社交网络平台事实上构成了以“个人”为枢纽的不同的数据的集合。借助“分享”按钮,人们在不同网站上的购物信息、浏览的网页都可以“分享”到社交网络上。想想前面提到的雪地上的脚印,社交网络把网民在不同网站上留下的“脚印”链接起来,形成完整的行为轨迹和“偏好”链。

 

1-7 Facebook 的一个实习生,把网站中人们相互联系的数据通过建模、渲染得到的一幅图片,越是明亮的地方,人们相互交流越是活跃。现在Facebook 是世界上最大的社交网站,每月的活跃用户数突破10 亿。

 

智能终端普及

 

古人只能用“大漠孤烟直,长河落日圆”等诗词歌赋来主观描述他们的所见所闻;我们则可以掏出手机、照相机、摄像机,再现美丽的风景,与亲朋好友分享。执着的古人迷路时索性信马由缰不问归路①。我们则可以拿出智能手机,使用导航软件找到目的地。

 

智能终端不仅仅局限于个人应用,许多行业都已经开始大规模的部署终端产品。举一个“美丽”的例子,婚纱摄影行业:以前影楼需要租用大面积的场馆、位置优良租金高昂的门店,携带大型的、笨重的写真集,展示给准新娘们用以挑选照片。但是如今利用iPad,可以做出令人心醉神迷的实景效果,如360°旋转等特效。准新娘只需要一部iPad,就可以全面的看到最终的拍摄效果,并利用其交互特性提高样片选择的精准度。

 

KPCB②(凯鹏华盈)是美国最大的风险投资基金之一,其合伙人Mary Meeker 2012年发布的一份趋势报告中指出,在2010 年第四季度,智能手机加平板电脑的出货量已经超越台式机和传统笔记本电脑(参见图1-8),并且预计在2013 年第二季度,智能移动终端全球保有量也将实现反超(参见图1-9)。

 

智能终端的普及给大数据带来了丰富、鲜活的数据。苹果公司2012 年公布的一组运营数据,可以反映智能终端上人们的活跃程度。其中,iMessage 功能目前每秒为用户传递28 000 条信息;iCloud 已经为用户提供了总计1 亿多份的文档;GameCenter 的账号创建数达到了1.6 亿;iOS 应用总数突破了70 万,支持 iPad 的应用则达到了27.5 万;苹果AppStore 的应用下载量突破350 亿次大关,通过分成付给应用开发商的分成总额已达65亿美元;iBooks 中的图书总数已达150 万册,下载量也超过了4 亿。

 

 

  评论这张
 
阅读(364)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018