所有栏目 | 云社区 美国云服务器[国内云主机商]
你的位置:首页 > 云社区 » 正文

阿里云飞天是怎么样的存在?

发布时间:2020-04-12 08:50:09

资讯分类:阿里云  飞天  飞天  阿里  数据
阿里云飞天是怎么样的存在?

谢邀

还记得十年前,阿里巴巴投入云计算核心技术研发,技术人们把这个核心技术命名为“飞天”。

他们可能没料到,十年后的今天,自研的飞天大数据平台可以扩展到10万台计算集群的能力,成为全球最大规模的大数据计算集群。

通俗的说,相当于把10万台计算机组成一个巨大的计算力池子,当成一台超级计算机来使用。

今天,这台超级计算机每天数据处理量超过600PB,容量相当于6亿部高清的电影。

自研平台突围

2009年,阿里云正式成立。在王坚博士的带领之下,一群工程师夜以继日,最终一行行代码写出了飞天云计算操作系统。

今天,飞天作为云计算操作系统为很多人所熟知,但是在研发飞天的同时,阿里云还自主打造了一个大数据的平台——飞天大数据平台。

决定自主研发的过程可谓百折千回。

最初,阿里云选择了3条分支路径去探索大数据处理能力。第一条路径是用商业的Greenplum来替代分析型数据运算;第二条路是因为担心Greenplum不靠谱,也使用Hadoop做类似的事情;第三件事情,就是启动了飞天大数据平台的研发,目标是打造一个属于自己的大数据平台。

到2010年的时候,Greenplum这条路因为规模和可用性的问题以及计算准确性问题被放弃;2013年的时候,Hadoop平台也因为数据中心规模扩展不上去和安全管理以及权限管理和资源管理等一系列问题,最后不得不放弃这套体系。

2013年8月15日,最初被认为“最不可能的任务”——终于突破了核心技术,正式上线5000台服务器集群——这使得阿里成为世界上第一个对外提供5K云计算服务能力的科技公司。

有了5K的能力,平台计算100TB排序只需30分钟,远超Yahoo! 在7月刚刚创造的71分钟世界纪录。

到2016年2月,飞天的单集群规模超过10000台;三年之后,再扩大10倍至10万台。

没有马云的强力支持,没有王坚团队的锲而不舍,也就不会有后来阿里云与Amazon、Azure并称3A的故事。

2015-2016年,飞天大数据平台打破计算界奥运会SortBenchmark的6个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录。

2017-2018年,完成全球首次基于公共云的100TB BigBench大数据基准测试,成为首个突破7000分的引擎,性能达到 18176QPM。

2018年1月,飞天获得中国电子学会15年来首个颁发的科学进步特等奖

飞天为什么“进化”这么快?

如今,飞天大数据平台的单集群调度能力如今已经达到10万台,而谷歌、微软等巨头的调度能力大都在1万台左右,存在数倍差异。

其实这跟阿里的独特业务场景有关。

阿里巴巴是全球最大的电商平台,平台之上有20亿电商产品,每天大概3亿人访问。更不要说,还有双11、双12等全球绝无仅有的业务场景。

要向服务好全球最大规模的网络消费群体,阿里云就必须要做好大数据处理平台。

而在提供计算能力的同时,阿里云还将成本降到了非常低的程度。

通过飞天大数据平台的在线服务,小型公司花几百元即可分析海量数据,而无须耗费巨资自建数据中心。

你不知道阿里云,但生活有了科技味

攻克算术瓶颈王坚团队用了4年,将其继续延展不断商业化阿里云用了10年,到现在飞天大数据平台已和水电煤一样成为不少公司必不可少的基础设备,广泛服务于电商、工业、医疗、农业、气象、教育等诸多行业。

在交通领域,城市大脑在杭州实时指挥1300个红绿灯路口、200多名交警。从2016年到2018年,杭州从全国最拥堵城市排行榜上下跌52名。让管理者第一次看清楚有多少活动的车辆,用数据挖了一条看不见的路,从而打开了治堵的新思路。

在政务领域,最多跑一次通过大数据处理平台打通政务数据,将与老百姓办事最密切相关的100个事项70多亿条数据,按照统一标准汇入统一的数据仓,实现共通共享共用。老百姓办事不仅能最多跑一次,甚至有可能一次都不跑。

在工业领域,阿里云的大数据处理技术帮助制造企业寻找上千个参数的最优搭配,提升制造的良品率。协鑫光伏、天合光能等行业龙头企业,都在尝试这一全新的生产模式。

还有大家最常用的双11买买买、12306网络购票、刷微博、看直播,都有阿里云飞天的身影。

哪有什么一鸣惊人,不过是十年如一日的坚持

十年光阴,不负期待。

成功从来不是一蹴而就的,曾经的阿里云初创团队,在最艰难的时刻甚至流失了80%的工程师,饱受公司内部质疑。

十年后,阿里云做到了全球前三,亚洲第一。坚持就是最好的解释,2012年的飞天奖颁给了阿里云全体员工,颁奖词是“坚持就是伟大”。

只有脚踏实地,才能实践出飞天。

不能忘记的是曾经的苦难,是阿里云那群被称作疯子傻子的技术人,看过凌晨一二三四点的杭州,最难的时候抹过眼泪,只有相信、笃定、坚持的人,爬上了技术的珠穆朗玛峰。

阿里云飞天是怎么样的存在?

最近技术圈被王坚博士讲述的故事刷屏了。看了这个节目,感受了阿里云自主研发路的艰辛。

刚好偶尔又刷到这个问答,我方技术狗表述有话说:

行内人对飞天的自研路都是再了解不过,只是《朗读者》让许多人又再度关注起了这个故事。


可以说,阿里云做自主研发的道路也是饱受争议的。

当时云计算不被人看好,还记得8年前深圳IT峰会上马化腾、李彦宏都不看好云计算,阿里巴巴每年又要投入10个亿,连续投10年来做云计算,内外争议不断,研发之路漫长而痛苦。

做自研云计算,更是需要勇气。因为自主研发通常需要投入巨量的人、财、物,短期看不到成功,遇到多方质疑仍要坚持初心,是典型的“Hard模式”。

也因此,大部分云厂商为了快速地商业化,都会选择使用现有国外的OpenStack来搭建自己的云,像阿里云这样坚持自主研发的实在是太少了。

最终,在工程师们“拿命来填”的努力下,阿里云自主研发的“飞天”终于问世。

经过多年的升级,阿里云飞天云操作系统源经历全球最大规模电商、支付等业务考验以及大规模公共云商业化实践,可以说非常了得了。

比如在去年春运高峰期间超400亿次的PV值,12306都坦然应对,“云查询”更是扛住了每天多达250亿次的访问量。,这背后飞天功不可没。

这样的飞天,也受到了官方的认可。此前,阿里云飞天还云获得了中国电子信息技术年会颁发科技进步特等奖,这也是该奖项设立15年以来首次颁发特等奖。

如今,凭借着这些自主研发的核心技术,阿里云不仅在国内站稳了市场第一的位置,更是几乎被美国云厂商承包了的全球云市场杀出一条血路,占领了属于中国自研云的一席之地。

最近, Gartner全球云计算市场报告发布,阿里云连续两年,和亚马逊AWS、微软Azure稳坐全球前三。

种种正是应了阿里云总裁胡晓明的话:自主研发的云才能走得更远。

阿里云飞天是怎么样的存在?

飞天是由阿里云自主研发、服务全球的超大规模通用计算操作系统,它里面的架构取名也很有意思,存储、调度、网络和DNS等模块都起了一个上古神话人物的名字,伏羲、有巢、夸父,可以说和飞天是相当应景了。

阿里云用飞天成长史,颠覆了传统IT架构,将一个看起来像笑话的事情变成了一段真正的神话!2008年,“飞天”自研之路正式开启。阿里云接近10年的战略布局和坚持真不是一般企业能做到的,这种敢于开拓,不怕失败,勇往直前的精神值得点赞!

2009年阿里云正式成立,2010年一个被命名为“牧羊犬”的阿里金融项目成为了阿里云的第一个客户,工程师们开始了“吃自己的狗粮”的进程。坚持自主研发,本来就是困难重重,但这样一群技术人从未放弃,让我们看到了现实版的“让梦想照进现实”!

在5年的坚持之下,飞天平台最终成功实现单集群超越5000台(5K),成为中国第一个独立研发拥有大规模通用计算平台的公司,也是世界上第一个对外提供5K云计算服务能力的公司。放眼全球,能做到这一点的企业,屈指可数。

飞天拥有10亿GB的大数据存储和分析能力,不仅让曾经春运买票卡的想砸键盘的12306从此畅通后,更是经受住双11购物狂潮、今年世界杯64场比赛直播高峰的挑战,网友们再也不用担心流量爆棚影响速度了。

现在,越来越多的大型企业、互联网公司都借助阿里云实现了数字化转型,ET农业大脑、环境大脑、航空大脑、城市大脑、工业大脑等人工智能ET更是当下热议话题。今年,飞天更是获得了中国电子学会15年以来首个科学技术特等奖。时至今日,飞天承载的阿里云已经跻身全球前三、亚洲第一的云计算平台。

“飞天”也向世界证明了,在互联网时代里,我们中国人也有自己拿得出的东西,作为国人相当骄傲啊!2018年杭州.云栖大会即将在9月19日启幕,不知道大家有没有和我一样很期待届时阿里云还会带来哪些惊喜呢?

阿里云飞天是怎么样的存在?

不管怎么说未来就是数据的天下,谁掌握了数据谁就能掌握商机

阿里云飞天是怎么样的存在?

阿里云现金已经拥有了扩展到10万台计算集群的能力,已经成为全球第一

阿里云飞天是怎么样的存在?

阿里云能够拥有现在的四张王牌,真的每一个都来之不易

阿里云飞天是怎么样的存在?

那当然了,阿里是用10年磨一剑,这一剑必须要锋利

阿里云飞天是怎么样的存在?

飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。


在阿里云刚刚起步,阿里云的创始人王坚博士就想要做一套中国自主研发的云计算的大规模操作系统,那也就是“飞天”。


但是,做拓荒者总没有想象的容易。

最近,阿里云的创始人王坚博士参加央视《朗读者》节目也提到了飞天研发的辛酸艰难。

据博士说:“在最困难的阶段,80%的工程师离开了阿里云。现在阿里云的成就是工程师拿命换来的。”

创业期间,阿里云总裁胡晓明也犹豫过。当时阿里云无休止的故障令人崩溃。他问马云,“能不能放我一马?”

马云的回复很简单:“不可以,云计算是未来。”没有自主的技术是会要你命的。

就这样,在工程师们“拿命来填”的努力下,阿里云做成了,阿里云成为与亚马逊AWS、微软Azure并列的3A;飞天做成了,阿里云飞天是目前国内唯一自主研发的云操作系统,是拿到中国电子学会15年来首个特等奖的中国核心技术。

怪不得有人说,阿里云是阿里巴巴中最具有理想主义的公司。

最近的贸易战更是提醒我们,阿里云飞天的出现有多重要。它填补了中国大规模操作系统历史上的空白,打破了欧美长达40多年的技术垄断。

也正因为阿里云没有走“拿来主义”云厂商基于OpenStack 搭建的路子,而是依靠自身技术,自主研发出了“飞天”系统,所以飞天对云计算底层技术体系的把控力十分强大。

12306火车票买票、微博红包、世界杯直播、双11购物……我们每天都会享受到的便捷服务,很多都离不开飞天的支持。

从2009年飞天诞生至今,近十年间飞天不断进化,累计为全球200多个国家和地区的创新创业企业、政府、机构等提供服务。

期待飞天这个完全由我国自主研发的系统在将来能发挥更大的作用,展示我国自研飞天云的强大力量。

留言与评论(共有 0 条评论)
   
验证码:
Top