京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构
基础
京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构
架构
京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构
集群
京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构
数据中心
京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构
Kubernetes

德国输了,巴西平了,媳妇儿的购物车满了,天台都快站不下了!


公元 2018年6月19日凌晨,京东公布交易额,从2018年6月1日0点到6月18日24点,累计下单金额达1592亿元,其中出库订单金额同比增长超过37%,电脑数码品类一分钟销量高达十万件!



京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

近来京东可谓好事连连。据官方消息,京东和 Google 达成战略合作,Google 以5.5亿美元投资京东。


当我们在狂欢时,是什么在背后默默的支撑着我们每一次点击?如此大规模的交易量,这得需要多大的数据中心?多少服务器呀?


或者说,京东是如何撬动数据中心的?


厉害之处在于,京东相关IT系统早就不是基于数据中心的物理服务器啦,而是基于 Docker。更进一步说,是基于 Docker 的 Kubernetes 集群。


而且,是目前全球较大规模的 Kubernetes 集群!(根据 CNCF官方近期统计数据)


那么,京东是如何运营全球较大规模 Kubernetes 集群实践?


小编偷来了京东商城基础架构部技术总监鲍永成老师的PPT,和您一起先睹为快!


京东数据中心集群管理发展历程



京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

早在2014年,京东就率先将 Docker 容器技术大规模应用至生产环境,和大多数刚开始实践容器技术的团队一样,京东也是从 Container as VM 做起。


在2016年初开始实践 Kubernetes,在2017年初基于 Vitess 构建起弹性数据库,并且自研京东“阿基米德”调度系统。


京东商城基础架构团队持续建设“阿基米德”平台,作为支撑京东万亿 GMV 的技术基础设施,阿基米德由大规模容器集群调度、数据库与存储技术平台、组件化微服务平台、商品图片技术平台、异地多活与智能运维、边缘计算平台构成。其中容器技术是所有平台服务的基石。


在此过程中,采用容器较大化资源利用,节省数据中心数亿元采购成本。大促之前加机器的历史一去不复返。


京东的容器生态


京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

2014年,京东基于 OpenStack 深度定制,研发出京东的分布式数据中心操作系统 JDOS 1.0 。后来随着业务和系统的不断增长,开始基于容器技术研发新一代容器引擎平台 JDOS 2.0。JDOS 从基础设施升级为应用平台。


2.0 推进了业务从源码到编译打包构建镜像到上线的全流程,建设了一站式应用运行平台,并研发大量子项目,从而构建起京东的容器生态:阿基米德(撬动数据中心的人)。


京东基础架构团队也开放出很多的容器开源项目:http://github.com/tiglabs/



京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

容器生态架构图


Kubernetes 基于 Google 的 Borg 调度系统进行设计与研发,目前已经成为事实上的开源容器编排标准,但是开源软件要考虑多方面的需求,就必然走向复杂,要在生产环境中应用,必须要化繁为简,进行重构。



京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

运营力量:全球较大规模的 Kubernetes 集群的运营秘密

针对 Kubernetes 集群的日常运维,主要围绕上线过程、巡检、监控预警、事件管理来进行。



京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构


除了集群的日常运维以外,对整个 Kubernetes 集群的可视化是运营中非常重要的部分。包括集群的实时状态、各个组件的响应情况等。



京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

达则兼济天下



京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

经过多年的历练和沉淀,2018 年 4 月,京东宣布加入 CNCF 云原生计算基金会 (Cloud Native Computing Foundation CNCF),成为较高等级的白金会员。


同时,京东作为容器技术(Containers)较佳实践者,京东商城首席架构师、基础架构部负责人刘海锋先生受邀进入 CNCF 全球理事会,共同推进该组织及其旗下开源技术的发展与应用。


在到京东交流后,CNCF 基金会官方确认,京东目前运营着全球较大规模的Docker 集群、Kubernetes 集群,以及最复杂的 Vitess 集群之一,基本实现了“All in Containers”,是目前全球容器化最彻底的互联网企业之一。京东也成为 CNCF 开源项目较大的使用者与贡献者之一。


这些内容还不过瘾?京东商城基础架构部技术总监鲍永成同学为您提供了更多内容,详见如下。


京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构


京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构

欢迎加入本站公开兴趣群

软件开发技术群

兴趣范围包括:Java,C/C++,pythonphp,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流

QQ群:204132433


Hadoop源代码研究群

兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop

QQ群:204050420

分页:12
转载请注明
本文标题:京东618千亿的秘密 | 全球最大规模Kubernetes生产集群架构
本站链接:https://www.codesec.net/view/577350.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(2046)