微信體系不崩的秘密 |
發(fā)布時間:2021-05-12 文章來源:本站 瀏覽次數(shù):3392 |
微信為什么沒崩過? 12億中國人都在運(yùn)用微信,卻很少有人思考過這個問題。其實,微信也曾徘徊在接近潰散的邊緣,騰訊根底架構(gòu)部運(yùn)營辦理支撐中心總監(jiān)鄒方明現(xiàn)在還記得2014年歲除,人們剛學(xué)會用微信發(fā)拜年視頻,流量直接爆掉,體系接近崩盤,公司上下所有人的壓力都集中到他一個人身上,等他做出決議。他說,那是他最痛苦的時間。 直到現(xiàn)在,在微信運(yùn)用量最大的時間,比方歲除,或是元旦、七夕、中秋,或是情人節(jié),騰訊團(tuán)隊也會提早幾個月準(zhǔn)備資源。前幾年的頂峰期,擔(dān)任騰訊紅包體系運(yùn)維的肖攀乃至?xí)菀幌翾Q公仔,就像拜佛一樣,求體系不崩。 現(xiàn)在,他們現(xiàn)已堆集了一整套保證體系不崩的辦法論。 騰訊10年保護(hù)微信體系不崩的故事,是一個從手忙腳亂到心平氣和的成長故事,是一個技能體系從無到有的故事,也是一個國民級用戶產(chǎn)品的技能秘密。騰訊技能團(tuán)隊向經(jīng)濟(jì)觀察報敘述了這些故事,他們構(gòu)建的體系,運(yùn)用的技能,在運(yùn)轉(zhuǎn)中堆集的經(jīng)驗教訓(xùn),關(guān)于其他公司,或可提供少許借鑒。 接近崩盤的時間 一刀切關(guān)閉體系、仍是持續(xù)尋覓縫隙?是鄒方明有必要馬上做出的判別。 他是騰訊的老人,2006年進(jìn)入騰訊,擔(dān)任技能,一手搭建了QQ和微信的聊天圖片、視頻體系。但在2014年歲除微信流量爆發(fā)而接近崩盤的時間,他仍舊承受不住這種壓力!绑w系全方位崩盤,流量也爆了,前端的體系就好像洪水一樣的,后端的體系更軟弱,連著倒了三四個體系和渠道,不但咱們的渠道倒了,底層存儲的其他部門其他體系也倒了。” 體現(xiàn)在用戶側(cè)的感觸是,用戶在朋友圈把視頻發(fā)出去了,但身邊朋友一個都沒看到。 用戶投訴連綿不斷而來,鄒方明需求馬上做出判別。他可以花更多時間去查一下到底是什么原因?qū)е,徹底解決問題,或是爽性一刀割下去,先暫時約束視頻功用。“哪個計劃可以最快恢復(fù)服務(wù),我過后在腦海里模仿了無數(shù)遍,也想不出哪一個更快! 鄒方明站在機(jī)房前,對著那臺顯現(xiàn)崩盤的電腦,身邊的運(yùn)維看著他,手指放在鍵盤上等候指令,老板在辦公室一言不發(fā),產(chǎn)品團(tuán)隊需求一個回復(fù),公司外數(shù)以億計的用戶,所有人都在等候著他的指令。 盡管只需十幾分鐘,但每一秒都是折磨。 鄒方明終究決議一刀切。至少切斷后,再次恢復(fù),能給到用戶持續(xù)運(yùn)用的可能性。不然,不知道要排查多久才干真實找出問題。直到現(xiàn)在,他也不能說自己的選擇是最正確的,但那是最快解決問題的選擇。 微信誕生早期,上面的時間時有產(chǎn)生。2015年,微信紅包贊助春晚,歲除當(dāng)天紅包量級從10萬級提升到10億級,擔(dān)任運(yùn)維的肖攀,買了個QQ公仔,插上兩根香,每逢覺得心里不保險,就去公仔前拜一拜,懇求千萬不要出事。 微信后期,一套老練的安穩(wěn)體系現(xiàn)已構(gòu)成,仍舊有不可預(yù)料的工作產(chǎn)生。2020年2月,騰訊會議在一個月時間添加1000倍,騰訊云副總裁、騰訊根底架構(gòu)部總經(jīng)理肖志立也遇到了難題,他的難題不是技能原因,而是物力資源跟不上。 其時,由于疫情,運(yùn)營商的BGP帶寬滿意不了、外網(wǎng)IP地址滿意不了,并且,由于設(shè)備供貨商無法復(fù)工,設(shè)備也供給不了。 肖志立給聯(lián)想打電話,問詢能不能給倉庫供1萬臺機(jī)器,對方說不好意思,員工都回家了,疫情期間沒有辦法回來。 直到最后,新機(jī)器也沒有送到。終究,仍是只能死磕技能,經(jīng)過軟件的優(yōu)化,把之前一個單元支撐100路的技能,提升到支撐200路,才解決了物理資源缺乏的難題。 一個從無到有的體系 12億用戶感知到的,是每天都在運(yùn)用的微信這個產(chǎn)品。他們感知不到的地方,微信背面僅技能渠道就包括圖片渠道、音視頻傳輸渠道、紅包體系、小視頻渠道等等,這些渠道接入騰訊內(nèi)部超越90%的事務(wù)。 渠道組合在一同,構(gòu)成巨大的體系,基本能解決已知與未知的問題。這些渠道的構(gòu)成,不是一蹴而就的,而是閱歷了綿長的進(jìn)程。 圖片體系歷史最悠久,早在2006年的QQ年代就開始運(yùn)用。當(dāng)年,QQ用戶突破1000萬,上線了QQ空間相冊,產(chǎn)品很受歡迎,但關(guān)于技能團(tuán)隊來說,一個首要面對的問題便是:撐不住了。存儲計劃也好,流量計劃也好,索引計劃也好,都支撐不了用戶訴求!罢麄底層存儲都現(xiàn)已瘋掉了,”鄒方明來到這個部門時,恰好閱歷了這樣的年代。一些公司在近幾年贊助春晚或遇到突發(fā)事情時,忽然發(fā)現(xiàn)的問題,騰訊在十幾年前也遇到過。現(xiàn)在微信、QQ體系的安穩(wěn),是當(dāng)年吃虧后堆集的經(jīng)驗教訓(xùn)。 用戶對圖片的訴求,延伸出了騰訊第一代存儲體系,衍生了TFS,之后有了相冊體系,不過,其時,他們還沒有想到做技能渠道。 不久,新矛盾爆發(fā)。QQ農(nóng)場火爆后,每個用戶都有許多頭像,但原有的相冊體系支撐不了圖畫高IO(輸入輸出)。這種情況下,鄒方明把相冊體系做了簡略的分支,就叫頭像體系。 頭像體系和相冊體系,都是圖片,應(yīng)該分開仍是交融?內(nèi)部其時有些焦灼,經(jīng)過很長的PK,他們覺得,仍是應(yīng)該交融到一同。交融之后,騰訊有了第一個技能渠道,圖片渠道。 相關(guān)于之前各自別離的體系,渠道的優(yōu)勢在于本錢。騰訊其他團(tuán)隊也在做圖片服務(wù),他們發(fā)現(xiàn),花了這么多年研制精力,還不如接入到圖片渠道中,把研制團(tuán)隊的出產(chǎn)力解放出來。 騰訊的其他渠道隨后逐漸誕生。 2016年,視頻渠道誕生。2019年,音視頻傳輸渠道構(gòu)成。期間還有紅包體系、文件體系、網(wǎng)盤體系,用戶最核心的幾個場景渠道,都由根底架構(gòu)部搭建完結(jié)。 長期以來,騰訊在互聯(lián)網(wǎng)公司中都以產(chǎn)品力著稱,產(chǎn)品的背面,是技能渠道的助力。 上一年火爆的視頻號便是一個典型案例,一年時間,視頻號推出了一系列功用,產(chǎn)品人員提出功用需求后,技能人員第二天或者是第三天就能拿出計劃,這離不開渠道的服務(wù)和支撐!爱a(chǎn)品有主意時,研制人員可以很快速做出一個模型,趕快做迭代和嘗試!编u方明解說,“可以在60分的根底上去做加法,產(chǎn)品技能團(tuán)隊可以把視角放在用戶喜歡玩的玩法上面,放在終端體會的細(xì)節(jié)上面去,然后從整個研制的長周期中掙脫出來! 微信誕生10年,背面的體系也有所不同。2016年之前,體系處于功能缺乏階段,其時出現(xiàn)問題,無論是縫隙或是代碼問題,事情爆發(fā)的根本原因是,體系才能缺乏導(dǎo)致的毛病。 2016年之后,體系升級,此后再有熱門,或是再有忽然事情,關(guān)于技能來說,就僅僅量級提高了,都在體系可以支撐的范圍內(nèi)。 在云年代,體系的支撐才能又有了添加。QQ于2020年徹底上云,整體都在云端。微信花了3年時間上云,本年會全部上云。上云的優(yōu)點(diǎn)是,如果有突發(fā)情況要從其他的事務(wù)騰挪資源,速度快許多。“不然咱們就得先把設(shè)備從A事務(wù)上下來,再添加到B事務(wù)去,再做測驗驗證,這樣時間就長許多! 微信10年,體系的根底建設(shè)主要朝著兩個主要的方針在做!耙粋是體系的健康性,比方你的熔斷才能,自我恢復(fù)才能,每年咱們都在找辦法。另一個方向便是體系單位本錢的承載才能。從字面上去解說,由于咱們的資源團(tuán)隊、產(chǎn)品團(tuán)隊,都會給出一個固定的本錢,這固定的10000臺設(shè)備,可以支撐100萬次懇求,仍是500萬次懇求,是每年都在持續(xù)優(yōu)化和迭代的進(jìn)程。咱們會發(fā)現(xiàn),只需你的承載才能強(qiáng)了,就可以把每個危殆時間變成不危殆。”鄒方明說。 產(chǎn)品不崩的辦法論 不過,即便有了體系,也不能徹底保證不崩。特別關(guān)于一款12億人運(yùn)用的社交產(chǎn)品,任何時間都有不可控性。 直到現(xiàn)在,騰訊技能團(tuán)隊也不敢打包票說體系徹底可控!巴蒲菀彩撬悴贿^來的,總會算錯的。比方說零點(diǎn)全國發(fā)紅包的人到底有多少?公司發(fā)紅包的量到底有多少?這個東西說實話不是那么好估了,這個時分咱們就會想,有沒有保底的大招,來使得這個訪問量操控在體系可接受的范圍之內(nèi),這是非常重要的保底辦法!毙ぶ玖⒄f。 崩盤之前,技能部門會提早預(yù)演,策劃好“劇本”,“劇本”是一種柔性操控,也可以統(tǒng)稱為降級。微信用戶有時在頂峰期會覺得微信消息有推遲,或是朋友圈視頻分辨率下降,便是一種降級。 當(dāng)體系遭遇了遠(yuǎn)超預(yù)估的訪問量,就要降級,比方朋友圈視頻平常一個視頻大約2兆,但頂峰時間可以先砍一刀,把2兆砍成1兆,讓更多的人有視頻可以看。 在不可預(yù)判的事務(wù)場景,他們基本上都會以這種辦法去應(yīng)對。“高突發(fā)的時分,用戶不會用得那么爽,但能讓90%用戶覺得滿意,不至于說忽然量超越預(yù)期了,然后就馬上不行了”。 肖志立告訴記者,騰訊一向有一個海量之道的技能辦法。在突發(fā)比較高時,一向有一個漏斗模型,“第一層先去頂住絕大部分的懇求,把符合要求的再往基層漏,再往基層交易最重的體系。這樣能保證承當(dāng)?shù)膽┣笫钦鎸嵭枨蟮膽┣,而不是把前面所有的懇求都打到后邊去!?/p> 這個技能辦法論被視為騰訊的保底大招,多年來屢試不爽。 現(xiàn)在只道是尋常 2021年春節(jié),騰訊根底架構(gòu)部在一片吉祥中度過。歲除5點(diǎn)半,肖志立把其時留守的幾十個兄弟拉到辦公室對面的一個餐廳聚餐,吃到6點(diǎn)半,回來守著機(jī)器一同度過了歲除夜。 全程沒有任何驚險時間,無驚無喜。 肖志立仍舊全程盯著。他每年春節(jié)前后都在,春節(jié)是最考驗微信的時間,在他們技能內(nèi)部看來,平常吹什么牛,都不如扛過春晚的流量來的實在。“每次我也在想,我也不去敲代碼,也不去做指令,為什么我要在?我可以感覺到便是崩盤了之后,大家都指著我去做‘要人命’的決議,出了毛病我才有價值,沒出毛病我就像一個閑人!编u方明現(xiàn)已記不清自己守過了多少個春晚,僅僅覺得很感慨。 在根底架構(gòu)師的職業(yè)生涯里,非常重要的一點(diǎn),便是在要害時間做出要害決策。 2018年之后,微信很少再有要害時間。這一年,微信紅包的用戶量基本上接近于微信的用戶量,之后的添加基本上現(xiàn)已平穩(wěn)。 肖攀最近兩年也沒有再拜過QQ公仔了,“都比較有信心! 現(xiàn)在的體系,現(xiàn)已不再需求大的變動。并且多年春節(jié)經(jīng)驗后,團(tuán)隊值勤的手段和戰(zhàn)略都是現(xiàn)已完備和老練的,還可以提早預(yù)判事情。比方本年,他們猜測云年夜飯會提早導(dǎo)致一個小頂峰,公然,當(dāng)晚7點(diǎn)的流量是往年5倍,由于現(xiàn)已提早猜測,本年也平穩(wěn)度過。 關(guān)于現(xiàn)在的騰訊技能團(tuán)隊,不再有驚心動魄的故事產(chǎn)生。 架構(gòu)師的經(jīng)驗教訓(xùn) 微信建立10年,騰訊技能團(tuán)隊也跟著走了10年,他們閱歷高壓,閱歷潰散,閱歷焦慮,到現(xiàn)在視為尋常,一路走來,他們見證微信用戶從0漲到12億用戶,與有榮焉!白黾寄苤蔚膱F(tuán)隊,一定要有一個好的心態(tài),便是你不在聚光燈下,可是咱們心里邊知道今天在臺上的產(chǎn)品那么成功,跟咱們是有很大關(guān)系的,自己的內(nèi)心要足夠強(qiáng)壯,要相信這一點(diǎn)! 他們也探索出了足夠多和事務(wù)部門交流的辦法。鄒方明經(jīng)常給團(tuán)隊灌輸?shù)睦砟钍,除非你有確鑿的依據(jù)能證明你是對的,不然你就先聽事務(wù)部門的。 現(xiàn)在,微信背面的技能體系現(xiàn)已接近完善,“沒有特別明顯的缺點(diǎn)和短板!毙ぶ玖Υ撕茏孕拧 不過,技能團(tuán)隊仍舊存在焦慮感。其實,騰訊這支技能團(tuán)隊一向很安穩(wěn),騰訊內(nèi)部架構(gòu)幾經(jīng)大動,技能部門一向沒變。他們閱歷了文字互聯(lián)網(wǎng)年代、圖片互聯(lián)網(wǎng)年代,到了視頻互聯(lián)網(wǎng)年代,再到現(xiàn)在的實時音視頻互聯(lián)網(wǎng)年代,技能一向在演進(jìn),內(nèi)容越來越豐富,實時性越來越強(qiáng)。這關(guān)于背面體系承載才能的要求,關(guān)于安穩(wěn)性、延時的要求,也要比本來高許多,技能永無止境,他們也永久等候攻克下一個難關(guān)。 鄒方明還在持續(xù)學(xué)習(xí)中。他經(jīng)常參加線下活動,在一些論壇或峰會上,奔到現(xiàn)場面對面和業(yè)界大牛交流取經(jīng),“咱們不可以關(guān)著門做,你有必要要到外面找一些可學(xué)習(xí)的點(diǎn),業(yè)界的大牛許多,他們會有許多比較好的創(chuàng)意和辦法論!薄澳阌谰貌恢朗裁磿r分冒出一個新的東西!毙ぶ玖⒑芨锌,“作為支撐團(tuán)隊,咱們得有這種氣魄和才能,可以在彈藥不行的情況下支撐事務(wù)團(tuán)隊打勝仗! |
|