今日头条架构师:头条1.2亿+日活的微服务和高可用架构实践
作者:英超买球app手机版 发布时间:2021-03-11 00:14
本文摘要:01业务高速生长下的架构演进今日头条作为国民级资讯阅读App,2019年用户规模超6.5亿人,日活1.2亿+,视频播放量占头条整体65%+,头条号文章公布量超1.6亿,视频公布量超1.5亿。今日头条系统,在稳定性可用性方面压力比力大,一方面需要快速把业务实现,但在另外一方面,类似这些高可用的问题会经常骚扰工程师:上线就挂、运营运动量大服务瓦解、单机性能顶不住、一个小服务上线把焦点服务搞挂了……类似这些问题,技术团队需要如何更好的去应对?

亚傅体育app

01业务高速生长下的架构演进今日头条作为国民级资讯阅读App,2019年用户规模超6.5亿人,日活1.2亿+,视频播放量占头条整体65%+,头条号文章公布量超1.6亿,视频公布量超1.5亿。今日头条系统,在稳定性可用性方面压力比力大,一方面需要快速把业务实现,但在另外一方面,类似这些高可用的问题会经常骚扰工程师:上线就挂、运营运动量大服务瓦解、单机性能顶不住、一个小服务上线把焦点服务搞挂了……类似这些问题,技术团队需要如何更好的去应对?架构演进,在差别阶段的公司都市面临种种压力。小公司压力可能是业务没起来,QPS 很低,要做优化也没有情况及条件。

当公司大了,服务器可能已经不是问题,但你要不停思量调优及应对会见压力,改善基础设施以提供更稳定的开发情况。所以说架构演进是连续一个历程,没有终点。

02今日头条架构生长的三个阶段第一阶段:传统的三层架构、单体架构今日头条刚开始做的时候,就是一个简朴 Web 应用,搭个数据库,把业务实现就行了。头条最开始的优势是推荐引擎,另有另外一套数据挖掘和离线盘算。在线的服务在前端相对来讲模式还是比力清晰的,三层就搞定了。

业务刚开始起来的时候,没什么问题,会见增洪流平扩展一下就可以解决。第二阶段:系统拆分、打散跟大多数的架构演进历史很是类似,系统遇到性能瓶颈后,最简朴就做一些拆分。优化的历程中,就是把压力较大的子系统就从代码上举行拆分,分成多个可独立部署、无状态化的服务。

这个阶段可以把SSO、用户中心、文章中心、视频、评论等拆分出来,每个业务中心都可以集群部署,到达加机械就可以解决性能问题的效果。随着业务的快速生长,代码和架构上的负担是比力极重,革新的成本比力高。

基于这些问题,就要开始演进到下一个阶段,微服务。第三阶段,微服务,中台化架构通过拆分成子系统,大的应用拆成小应用,抽象通用层做代码复用。重点在基础设施,希望通过基础设施提高快速迭代、容灾和一系列的事情,希望各个业务团队能更快做业务上的迭代以及架构上的调整。

(微服务架构) (微服务架构)微服务最关键的三点:1、解耦,一个服务会依赖另外一个服务、模块或子服务的观点。2、轻量,减轻维护人员的成本。

3、易治理。03头条的服务化架构建设思路立规范。

包罗部署RPC规范、服务挪用规范、服务治理原则、超时重试机制等等,否则规模大了之后就会是个灾难。打基础。

有了规范以后,开始真正落地的服务。好比说基础库,把Ngnix、Redis、MySQL这些库封装起来,统一起来做一些开发框架,做业务系统开发的时候,就不用关注数据层的细节,专心实现业务逻辑。渐进。

先拆离再迭代,逐步把服务优化起来。一切都是服务。

亚傅体育app

第四点是和其他公司或团队稍纷歧样的地方,我们的想法是一切都是服务,每个节点都是抽象归属于某一个详细的服务。存储简直是一个服务,但它不只是提供 API 或者提供功效的工具,还需要包罗服务质量,需要别人用起来是比力简朴的。平台化。

最后的落地是平台化的工具。我们框架是怎么设计,和服务怎么联合? 一切都是服务:资源是有限的:按需申请,需申请和授权;简朴的使用方式:开发者只需要关注业务;有唯一定位的方式:用全局资源定位;焦点规范:必须要有全局的中心,服务统一注册到 consul 中;服务有唯一的标示、命名范:{产物线}.{子系统}.{模块} P.S.M,公司有许多部门,我们不希望部门之间相同起来有差异,所以需要有全局计划去追溯它;业务服务使用 Thrift 形貌接口、必须通报尺度参数。如果用弱的形貌数据,没有强约束,在客户端的数据可能会泛起类型错误;RPC 使用统一收敛的库;Nginx、Redis、MC、MySQL、etc 都是服务服务注册:我们服务统一使用 loader 或 wrapper 剧本启动,详细启动由业务决议。

服务启动会有一个全局唯一ID,把 app 注册到服务内里。服务中心服务中心有服务信息,会同时带上是什么样的服务,其他人比力简朴的调这个服务就 OK 了。

这个服务到底提供什么样的服务质量,拥有者可以治理这个信息。Redis去服务,负载平衡,服务一个项目,把服务接上去。服务关系与授权服务之间有个关键的观点:服务授权。

一般我们起一个服务,通过 IP 就可以连上它了。数据库有用户名认证,也可以对 IP 授权。

不外内网许多服务限制比力少,不是所有服务都有授权认证。我们希望把服务之间的关联关系,全局拓扑关系记载下来而且可执行。04头条服务拓扑架构图服务依赖和被依赖的全局关系拓扑图,服务变换影响规模评估,服务治理,监控预警基础,需要经常更新维护。05头条RPC开发框架设计思路建设关键点:1、快速开发,代码生成2、服务发现,服务的自动发现、服务注册3、可观察,logid、pprof、admin端口4、容灾降级,业务降级开关5、过载掩护,熔断器、挪用控制6、多开发语言异构系统 06基于容器的云原生微服务基于容器技术的云原生微服务,将敏捷开发、devops完美融合,服务化理念的落地与业务场景联合, 实现端到端的价值交付。

以上先容了今日头条架构高可用、微服务、容器化等实践作者:作者,夏绪宏。今日头条架构师,专注对高性能大规模 Web 架构,云盘算、性能优化、编程语言理论等偏向,PHP committer,HHVM 项目孝敬者。

2015 年加入今日头条卖力基础设施,系统架构设计和优化,解决大流量高并发下的系统性能、可靠性和运维效率等方面的问题。


本文关键词:今日,头条,英超买球app手机版,架构,师,1.2亿,日,活的,微,服务,和

本文来源:英超买球app手机版-www.qqhezy.com

电话
0333-73478716