注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

杨鸿智-后现代理论医学博客

《后现代医学》、《正反馈医学》、《自体原位器官重构技术》

 
 
 

日志

 
 
关于我

这是一个宣传后现代理论医学的博客.后现代理论医学是以系统理论为指导的新医学.该理论认为,在生命组织中干细胞是决定机体功能状态最基本的因素.通过调节机体内环境和为干细胞提供再生所需要的物质和能量,就可以使干细胞在患者体内原位再生,实现器官重构,使器质性病变得到治疗.现在,已经在北京医药信息学会内成立了后现代理论医学专业委员会,杨鸿智是主任委员.

网易考拉推荐

(6)大数据里的中国智慧  

2013-07-13 10:49:20|  分类: 干细胞病 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

6)大数据里的中国智慧

发布时间:2012.05.07 16:26

http://tech.ccidnet.com/art/40939/20120507/3831061_1.html

 

SQL Server 2012研发的人与事

 

在切入正题之前,就让浸泡在数据海洋里的我们,看几个并不陌生的场景吧。

 

场景一:痛苦的升级

 

三十六岁的吴桐坡是一个电商网站的首席技术官,最近有点头疼:业务旺季就在眼前,现在的内存、盘阵、操作系统和应用平台已经有点扛不住。老板却已发话,今年要基于用户消费行为的统计与分析,上线更多的新品类。唉,又要和部门里的兄弟们熬夜了。好在之前做了不少准备工作,对这次升级的成本和问题心里大概有底。“但过去几年,哪次硬件变更和软件升级没出过岔子?我怎么敢跟老板拍胸脯,说升级后的系统马上能顺利支持5000-6000/秒的在线交易请求,而不影响任何业务?“

 

场景二:郁闷的IT

 

修养很好的俞年发火了,让这位年届不惑、掌控某跨国餐饮连锁品牌的职业经理人失控的原因很简单,当他早上10点走进办公室,没有看到昨天的运营报表——这让他想起昨晚从一位消息灵通的分析师朋友处得知,竞争品牌最近两个月的营业额大幅超过自家,这是什么原因?现在居然连头一天的运营报表都没正常出现,IT部门干什么去了?被俞年召来猛K一顿的IT经理任愿也很郁闷。“不知道为什么,头天晚上从各个营业点上传来的原始数据,未按正常流程进行匹配和清洗,最终没导入数据仓库,导致今天早晨没法生成报表,但老板也不至于这样生气吧?” 检查数据集成进程时发现原先仅需半小时的一个步骤用了近两小时,还是通不过,也找不出原因,郁闷…

 

场景三:抓狂的网购

 

二十九岁的白领史博妍与姐妹们一样,紧张的工作节奏让她无暇逛街,幸好还有网购。作为每月在网购过千元的重度用户,怎能错过各大网店的春夏促销?周末晚上,当她打开浏览器,却发现最钟爱的网店却无法访问,页面总是显示“响应超时”,而且怎么刷新也没用。难道下周要穿着去年的衣服去拜访客户和“周末大轰趴”?这个假设让她很抓狂,抓起了电话向网店客服投诉。数分钟后,网店的数据库管理员李易凌接到客服部门的排障需求,他能否在很短的时间里,从海量的Query记录中,找出那条引发故障的Query

 

那些年,他们一起追寻的创新

 

您一定能猜到上面的三个典型场景,就藏着SQL Server 2012研发团队所要解决的三个典型问题,而解决这三个问题的主要团队成员,就是微软亚太研发集团服务器与开发工具事业部的一群年轻工程师们——而解决上述三个问题的功能分别是Distributed ReplaySQL Server集成服务(SSIS)和扩展事件(xEvent)。

正如微软其他应用于关键业务的产品,SQL Server 2012功能设计的来源主要有三类,即面向全球范围内的最终用户与分析师的调研、全球技术支持服务部门的反馈,以及开发团队的前瞻性思考。

 

故事一:跨越七年的灵感

 

Distributed Replay、集成服务和扩展事件也不例外,而其中从需求发掘、设计产生到功能实现时间跨度最大的,是Distributed Replay。而这一特性的灵感在2005年左右,几乎同时出现在姚钢和王清越的脑海里。

 

高级开发主管姚钢现在已申请下Distributed Replay的专利,触动他的是做SQL Server技术支持的六年经历,“客户经常在升级硬件和软件过程中碰到各种问题,尤其是新硬件和操作系统环境中,数据引擎性能的下降让他们很是挠头。是不是能有一个功能,让客户提前知道升级后,可能遇到的各种状况?“

而当时还在微软总部从事SQL Server引擎性能优化的王清越也在想,“如果能开发一个工具,让客户在多线程、高并发度的环境下,模拟实际应用场景,从而实现在变更软、硬件时预知这些变化对数据引擎性能的影响,不就能让他们不再忧心升级后的变数么?“于是,当他们2008年加入SQL Server中国研发团队后,这个想法很自然地被提到了SQL Server 2012产品规划中。

 

让姚钢和王清越印象尤为深刻的是,201010月功能基本开发完成后,一位远道而来的欧洲电子商务客户提出,用他们的真实数据让Distributed Replay模拟5000-6000/秒在线交易请求的生产环境?开了几个夜车后,两周内姚钢和同事们顺利实现了客户需求——这让项目组也很是欣慰,因为虽然设计目标就是实现每秒5000-6000次的负载模拟,但此前还未在实验室环境下得到过验证。随着SQL Server 2012的上市,国内类似吴桐坡这样需求的CTO们,将不用再为软、硬件变更可能带来的性能变化而烦恼了。

 

故事二:为了一致与可靠

 

SQL Server集成服务要解决的则是IT经理们不得不面对的问题 —— 如何在有限时间和资源前提下,保证“数据的一致性和可靠性“,不至于当老板要看报告时,却交不出来。在集成服务的项目经理卓伟雄看来,帮助两个重量级本地客户解决类似问题的经历是在产品开发中最值得回味的,”这两个客户,一个来自保险业,一个来自连锁餐饮业。他们处理数据的共同特征是,来自各个分支机构的数据都在晚上运行,而实际上每天晚上运行SSIS包的时间窗口其实很短。在决策层第二天到办公室之前,数据平台要完成的事情有很多——首先是把数据从不同的来源取出,然后导入到数据仓库。从数据仓库到用户能使用的报表,多维数据集等等时间的掌控很重要。而在SQL Server 2012之前,当SSIS包在抓取、导入过程中出了问题,管理员往往需要花费数十分钟乃至几个小时,逐一找出并解决SSIS包抓取失败或延迟等问题。如果问题一多,第二天没法交付报告就成了很自然的事。而现在,管理人只需要通过预先建立的故障排除和性能调优功能,在SSIS包运行过程中,便能自动拿到最可能引发问题的事件记录,而用户可以马上把这些事件交给相关的技术部门去解决。”

 

让测试开发工程师吴晓晨记忆犹新的则是在最后测试阶段,一个特殊的场景下运行新功能时,往往比平时慢23秒,但一位同事硬是坚持三、四周解决了这个问题,因为他们觉得“如果每个客户都节约几秒钟,那么全球来看就是一个了不得的大数字。”

 

故事三:DBA的黎明

 

扩展事件的诞生,是为了帮助李易凌这样的数据库管理员们。当碰到这样的问题,他可以首先将当天的SQL Query(像场景三中的网店会有几千种SQL Query)的响应时间分组求平均值,然后按组排序以迅速找到花费时间最长的那一组Query,接着打开这一组Query排序,便能找到花费时间最长、甚至是无法响应的Query,从而迅速找到问题根源并进行排除。更为重要的是,轻量化的扩展事件只需很小的服务器资源开销,就能抓取50GBTrace包。

 

SQL Server 2012的发布,对负责扩展事件的开发主管徐进、测试主管陈玉祥来说同样意义非凡——因为尽管从SQL 7.0时代就有了SQL Profiler工具,但直到SQL Server 2012有了扩展事件才高度满足了数据库管理员的大量真实需求。

微软全球研发文化的中国实现实际上,SQL Server中国研发团队在过去四年多的成长历程,只是微软亚太研发集团服务器与开发工具事业部的一个缩影。

 

如果从头梳理服务器与开发工具事业部中国团队的起源,需要回到2004年,事业部高层认识到两个显著变化,首先是一流软件人才从集中在美国的少数城市,变成分散在世界各地,尤其是中国、印度等国家;其次,微软合作伙伴和客户的地域分布也日趋全球化。不管一个开发团队多么聪明,当他们总呆在同一个的地方时,就很难理解全球性合作伙伴和当地客户的需求和愿望。正是在这样的背景下,事业部的高层决定在印度、中国和以色列建立并大力发展三个全球分布式研发中心。

 

作为SQL Server中国研发团队的创始人,现任服务器与开发工具事业部中国团队总经理的孙博凯2007年来到中国后,曾在博文中曾写到:“就长期影响而言,要区分成功组织和平均或低于平均水平的组织,'文化’元素是一个更可靠和更重要的衡量因素,其可靠性和重要性远远超过商业策略、一项具体的技术或流程优势,甚至超过特定的领导力优势,不论这种领导力是如何有魅力或富有远见的。恕我直言,这就是为什么让一个团队伴随着’正确的’文化起步是如此重要,不论每个组织如何定义’正确的’文化。”正是出于这样的洞察,孙博凯认为如何将美国总部的系统文化、个人贡献者文化、创新文化和聚焦客户文化,根植到每个工程师的脑海中,是当时团队初创期的首要任务。

 

从“童子军”到成熟工程师

 

或许正是出于对团队文化的认同,吴晓晨2008年从复旦计算机系毕业后,正式加入到SQL Server的研发团队,成为一名集成服务的软件测试开发工程师,其中有一段时间,小组里测试主管职位空缺,而另三位测试工程师更享受做个人贡献者的快乐,他最终“半推半就“ 地承担了“兼职测试主管”的一部分职责 —— 说是“半推”,因为组织结构上的确需要一个测试主管、项目管理主管和开发主管进行日常沟通, 而当时实在招不到合适的人;说是“半就”,因为他清楚地认识到,在微软这个高手如云的地方,自己的技术水平可谓中上,但还称不得顶尖,故从个人的职业发展来看,这是个不错的机会。

 

做出决定之后就是咬咬牙干,但他先得学会“怎么说话”。对他来说,最大的挑战就是在项目沟通会上(时不时还得面对雷德蒙总部的牛人们)陈述观点。一开始,他紧张到“连开口说话”都不会。幸好,通过“马克?波罗”计划来上海的Siva Harinath(另一项目组的测试经理),给了他许多意见,而他也领悟到了不必迷信权威,而是“取其精华,去其糟粕”;同时,部门经理赵晓燕更给了许多鼓励与安慰,让他有勇气和信心去发言 —— 了解微软的都知道,在研发部门的内部会议上,一旦你的思路稍有停顿,立马就会被其他人打断,甚至直接无视。就是这样,吴晓晨逐渐从“最开始连问题都可能听不懂”的新人,历练为敢于在牛人们面前侃侃而谈的成熟工程师。当然,他还没有完全摆脱紧张,在最后一次项目评审电话会议上,当他“一口气讲十几分钟”总结了测试小组的工作后,产品线总经理夸奖道“Great Job”,而他则紧张地没听清楚,回了句“Sorry?”,顿时,电话两端爆发出哄堂大笑……

 

从优秀到卓越

 

在将最优秀的“原始人才“培养成专业工程师之外,孙博凯还花了大量时间招募业内顶尖高手,2008SAP赵晓燕和Oracle韩露明的加盟无疑让SQL Server中国团队进入了稳健成长期。在赵晓燕看来,加入微软的原因一部分是出于好奇,对于一直在开源世界里钻研技术和产品的她来说,能到微软内部弄明白这个庞然大物究竟怎么运作无疑具有相当的吸引力,更重要的是能从零开始建立一支世界级的工程团队,解决世界级的数据平台问题,比如她一直从事的商务智能,和令人兴奋的集成服务新领域。回顾过去四年,她感叹在外部看来大而迟缓的微软,其实在每个具体的领域是以小搏大,反应更加迅捷。以商业智能为例,微软全球一共就200来人,虽然整体质量很高(仅中国团队17个人里就有5位博士),但毕竟和专业做商业智能的独立软件公司动辄上千人的开发团队相比,并不具备人数优势,重要的是认清自身优势,从简单的业务开始,最终拥有端到端产品的发言权。

 

韩露明则坦言,团队刚建立时,年轻工程师们学习、掌握新技术和新事物的速度非常快;但当时各方面的确都还稚嫩,而这三、四年的磨练和砥砺已为承担更关键任务打下坚实基础。“当然,从技术积累的角度看,是没有止境的。未来,拥有更多‘主人翁’精神的我们,会走得更远。”不过,这一切在服务器与开发工具事业部中国研发团队的管理层看来,还有许多方面需要加倍努力,并已开始着手新的发展规划。孙博凯认为,“云计算正在重塑经济发展和商业竞争的格局,作为微软在中国推进云战略、云实践、云创新的核心部门,无论是全球产品、服务的研发,还是协助本地客户、合作伙伴利用云计算成功转型,我们中国研发团队都将扮演更重要的角色,任重而道远。”

 

花絮:SQL Server 2012中国研发团队小像

 

部门经理赵晓燕:Why not give it a try

 

赵晓燕博士于20081月加入微软,组建SQL Server集成服务中国研发小组。当时猎头找到她说,微软正在寻找一位拥有深厚数据库和商业智能开发经验的专家,并一定要有团队管理经验,她第一反应便是:“这个职务舍我其谁?Why not give it a try?“然后是她与孙博凯的深谈,了解他的愿景和规划;再到一步步往前走,看着集成服务团队越来越大,内心最大的感触之一就是,这几年的经历,就像2004年从IBM辞职回国,担任Sybase上海研发中心负责人一样,从零建立起一个数十人的团队并取得业务上的突破,这种成就感是很难用言语表达的。在她看来,如果把信息资源比作自然资源,那么数据就像是空气,SQL Server中国团队的下一步,就是如何让“肺“更好地去呼吸,从而让数据引擎的心脏有力搏动。

 

部门经理韩露明: 深入数据十八年

 

出身于书香世家的韩露明,毕业于北大计算机专业。她开玩笑说,最近和大学同学聚会时,被问到:“什么?你为什么还在做数据库?“因为,这些同学里,能在一个行业里待满十八年的,恐怕就她一个人了。

 

谈到个人特质,她想了想,说最大的特点就是认真了。因为从小就是这样一步一步走过来的。而且做技术,就是需要认真。如果不踏下心来做,很难一做这么多年。在当她开始承担管理工作以后,发现对于人的问题上需要比较宽容。这也是作为研发管理者,所需要平衡的地方,既需要对技术的孜孜以求,也需要包容团队成员的不足,要让大家有团队的感觉。

 

高级项目经理王清越:靓妈爱健康

 

没看到王清越本人前,如果只凭声音,你恐怕很难想象一位未语先笑,拥有外向开朗的声音的主人,竟然是一位来自杭州的端丽女子,还是位拥有一双可爱女儿的妈妈。谈起为何能拥有强大气场的秘密时,王清越说其实在工作之余,很多时间都是和女儿们在一起,这样就心情愉快,再把剩下的一些时间用来关注下健康,多锻炼一下,比如长跑、游泳、瑜伽等,这样就能在工作时有充沛的精力,让人觉得她走路风风火火,好像有无穷的精力。

 

高级开发主管姚钢:800米翱翔与海胆的眼睛

 

脸部线条轮廓分明,文质彬彬、语速适中的姚钢恐怕是最容易让人联想到的微软工程师形象了,但可不能被他的外表给迷惑了,就此来判定他一定是个无趣的技术宅。当分享个人难忘体验时,姚钢说起了两段经历。一个是2008年,和朋友去了趟尼泊尔,在博卡拉地区的徒步经历和费瓦湖的滑翔伞降。前者是得到了心灵的放松,后者是挑战了一下自我。尤其是一个小时的滑翔体验,他至今仍然记得跳出去前一刻的紧张,飞出去之后鸟瞰费瓦湖和鱼尾峰风景的感觉,以及落地后的怅然若失。另一段经历是,在埃及红海边上拿到了潜水初级执照,在海底看到了珊瑚。而当他在泰国潜水的时候,居然发现海胆是有眼睛的.说到这里时,他会略带得意地问,“你知道海胆的眼睛是什么颜色的吗?“

 

测试主管陈玉祥:难忘7*24

 

陈玉祥说自己的经历很简单,基本上大学毕业之后就是和姚钢一样,加入微软亚太区全球技术支持中心,只不过他支持的产品是Windows Server,如果客户的机器宕机了,就会直接打电话给他,而不管是什么时间。有一次夜里,他刚坐到餐桌前点了菜,就接到一个客户的电话,要他立刻就回到办公室解决故障。因为那边在做一个日常维护,客户技术人员重启了机器,却发现系统起不来了,如果不能在几个小时里解决问题,到第二天工作时间就会变成严重的问题。而这段随时“待命”支持客户的日子让他笃信坚守产品开发的最后一道防线上的理念。

 

开发主管徐进:球场亲兄弟 工作吵翻天

 

每周一打火的从南京到微软上海科技园区上班的徐进,说起这几年最难忘的场景时,有些不太确定地说,吵架算不算?在他看来,从初进微软时的“战战兢兢,如履薄冰“,觉得自己能进入到这个软件巨头里就不容易,再到完成总部安排的项目建立起个人与团队的信誉,并在扩展事件的开发过程中,逐步赢得总部同事的尊重,这是殊为不易的成长。而在拥有足够多对业务的自信后,就会在开项目例会的时候,学习和总部一样的“吵架文化“,来发表和坚持自己的见解——哪怕对方是负责推动项目的篮球好友林默。在一次例会上, 他们两人因为在一个技术细节上意见相左,吵得不可开交,当时的气氛用“脸红脖子粗“已经不足以形容,林默都拍桌子说,”我不干了,你来当这个项目经理好了“,而他当时也在气头上,恨不得说”不干了最好,大家散伙儿得了,都不要做了“。而在冷静下来之后,他们两个求同存异,从用户需求的角度出发,最终取得了一致。在他看来,微软“三足鼎立“的开发模式,就是为了让每个角色的工程师,都能从各自的角度出发,以向用户更快更好地提供价值为原则,发表彼此的看法,如果大家都是好好先生,或者说由一个项目负责人说了算,最终伤害的还是用户。

 

项目经理卓伟雄:独爱数据库

 

毕业于新加坡国立大学的卓伟雄是位特别热诚的博士。加盟微软前,在国立大学从事数据库研究工作,并兼任新加坡电信公司的商业智能组组长。当被问及来中国前,什么印象最深刻时,认真想了一会儿后,他回答说:“还是数据库。SQL Server 2008发布时,也就是因为我一直在新加坡、马来西亚等地分享商业智能的知识和实践,得到了新加坡的微软最有价值专家(MVP)称号,给我印象最深刻。因为在社区分享知识、经验不是为了拿奖项,而是对我这方面钻研的认可。“

 

软件测试开发工程师吴晓晨:只做对、不跟随

 

身为整个团队里最年轻的被访者,吴晓晨的发言也最犀利。2008年从复旦计算机系毕业时,他同时取得了微软和谷歌的Offer。最终他选择了微软,原因很简单,他说自己当时想明白了一个道理:是去一个看上去很火的公司,但是做一些无关紧要的工作呢?还是去一个看起来很低调,但能发挥核心作用的公司呢?同样的坦诚,也出现在他看待创业的想象,“创业不是目的,在个人最感兴趣的领域做出有价值的创新才是关键,而我是个有点“小懒“的人,并不想为了改变世界而花掉个人全部的时间与精力,那么为什么不能在自己的岗位上,去踏踏实实地“做改变一部分世界”的事情呢?“

 

 

大数据时代的中国机遇 

-- 访IBM中国研究院院长沈晓卫

http://bbs.pinggu.org/thread-2399982-1-1.html

 

新华网华盛顿4月29日电 (记者 高攀)IBM中国研究院院长沈晓卫日前接受新华社记者专访时说,大数据是未来信息技术变革的重要方向之一,中国面临前所未有的机遇,同时大数据将为推动中国经济转型发挥重要作用。

 

沈晓卫在美国宾夕法尼亚州匹兹堡参加第二届卡内基-梅隆大学中美创新创业峰会期间接受记者采访时说,过去50年来,信息技术推动了整个人类社会和生活方式的变革,而且大约每隔15年至20年信息技术就有一次重大突破。而自上世纪90年代互联网变革以来已有20年时间,他认为,大数据将是信息技术下一次重大突破的重要方向之一。

 

沈晓卫说,大数据主要包括社交媒体产生的数据,音频、视频、图像数据和来自物联网的数据。与商业交易等生成的传统数据相比,大数据具有海量、快速、多样性和不确定性等特点,规模呈指数级增长,给数据的采集、存储、组织、查询和管理都带来许多挑战。

 

沈晓卫指出,大数据的关键并不在“大”,而在挖掘其中蕴含的价值,“它是像石油一样的战略资源”。他表示,大数据已经在医疗、教育、零售、交通运输等行业得到应用。例如,在零售业,对大数据的分析可以使零售商实时掌握销售动态,迅速调整库存,同时制定更加精准有效的营销策略,使得最终消费者对于商业经营决策拥有前所未有的影响力,这将深刻改变传统行业的运作方式并大幅提高行业运作效率。

 

沈晓卫认为,大数据方面的研究刚刚开始,中国企业与外国企业站在同一起跑线上,因此中国面临前所未有的机遇,有望在这一领域引领全球技术发展趋势,其原因有三:

 

首先,中国经济发展面临的许多问题,包括基础设施建设、环境保护、食品安全等方面的挑战,都需要大数据这种创新方式提供更好的解决方案。巨大的需求客观上为中国大数据的研究提供了许多实践机会。

 

第二,中国的人口和经济规模决定了中国大数据的规模为全球最大,可为大数据研究提供许多创新角度,同时也意味着中国大数据分析的解决方案将同样适用于其他国家,这将为从“中国制造”向“中国创造”转变提供难得的机遇。

 

第三,目前全世界都缺乏大数据领域的技术人才和商业人才,而中国在大数据开发和应用方面的广阔平台有利于迅速培养这一领域的领军人物,同时推动产生一批围绕大数据形成的创业型企业,通过企业、科研院所和高等学校之间的合作,中国有望站在大数据领域的技术最前沿。

 

沈晓卫认为,大数据在推动中国经济转型方面也将发挥重要作用。其一,通过大数据的分析可以帮助解决中国城镇化发展中面临的住房、教育、交通等难题。例如,通过对交通流量数据的实时采集和分析,可以指导驾驶者选择最佳路线,改善城市交通状况。其二,通过大数据的研究有助于推动钢铁、零售等传统产业升级,向高端价值链发展。其三,大数据的应用可以帮助中国在发展战略性新兴产业方面迅速站稳脚跟,巩固并提升竞争优势。

 

 

  评论这张
 
阅读(103)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017