大型網(wǎng)站體系架構剖析

發(fā)布時間：2019-11-07 文章來源：本站瀏覽次數(shù)：2966

千萬級的注冊用戶，千萬級的帖子，nTB級的附件，還有巨大的日拜訪量，大型網(wǎng)站選用什么體系架構確保功用和穩(wěn)定性？

首要討論一下大型網(wǎng)站需求注意和考慮的問題。

數(shù)據(jù)庫海量數(shù)據(jù)處理：負載量不大的情況下select、delete和update是呼應很敏捷的，最多加幾個索引就能夠搞定，但千萬級的注冊用戶和一個規(guī)劃不好的多對多聯(lián)系將帶來十分嚴峻的功用問題。另外在高UPDATE的情況下，更新一個聚集索引的時刻基本上是不行忍耐的。索引和更新是一對天生的冤家。
高并發(fā)死鎖：平時咱們感覺不到，但數(shù)據(jù)庫死鎖在高并發(fā)的情況下的呈現(xiàn)的概率是十分高的。
文件存儲的問題：大型網(wǎng)站有海量圖片數(shù)據(jù)、視頻數(shù)據(jù)、文件數(shù)據(jù)等等，他們怎么存儲并被有用索引？高并發(fā)的情況下IO的瓶頸問題會敏捷顯現(xiàn)。或許用RAID和專用存貯服務器能處理眼下的問題，但是還有個問題便是各地的拜拜訪題，或許咱們的服務器在北京，或許在云南或許***的拜訪速度怎么處理?如果做散布式，那么咱們的文件索引以及架構該怎么規(guī)劃。

接下來討論大型網(wǎng)站的底層體系架構，來有用的處理上述問題。

毋庸置疑，關于規(guī)模稍大的網(wǎng)站來說，其背面必定是一個服務器集群來供給網(wǎng)站服務。當然，數(shù)據(jù)庫也必定要和運用服務分開，有單獨的數(shù)據(jù)庫服務器集群。關于像淘寶網(wǎng)這樣規(guī)模的網(wǎng)站而言，便是運用也分紅許多組。

大型網(wǎng)站體系架構剖析

下面，就從服務器操作體系與Web服務器、數(shù)據(jù)庫、服務器集群與負載均衡、緩存、獨立的圖片服務器、其它等幾個方面來剖析大型網(wǎng)站的體系架構。

服務器操作體系與Web服務器

最底層首要是操作體系。好的操作體系能進步好的功用、穩(wěn)定性和安全性，而這些對大型網(wǎng)站的功用、安全性和穩(wěn)定性都是至關重要的。

淘寶網(wǎng)（阿里巴巴）: Linux操作體系 + Web 服務器: Apache
新浪：FreeBSD + Web 服務器：Apache
Yahoo：FreeBSD + Web 服務器：自己的
Google: 部分Linux + Web 服務器：自己的
百度：Linux + Web 服務器: Apache
網(wǎng)易：Linux + Web 服務器: Apache
eBay: Windows Server 2003/8 (許多) + Web 服務器：Microsoft IIS
MySpace: Windows Server 2003/8 + Web 服務器：Microsoft IIS

由此可見，開源操作體系做Web運用是首選已經(jīng)是一個既定現(xiàn)實。在開源操作體系中Linux和FreeBSD差不太多，很難說哪個一定比另外一個要優(yōu)異許多、能夠全面的超越對手，應該是各有所長。但了解Linux的技能人員更多些，利于體系辦理、優(yōu)化等，所以Linux運用更廣泛。而Windows Server和IIS雖然有的網(wǎng)站運用，但不開源，而且需求購買微軟的一系列運用產(chǎn)品，約束了其運用。總歸，開源操作體系，尤其是Linux做Web運用是首選已經(jīng)是一個既定現(xiàn)實。

常用的體系架構是:

Linux + Apache + PHP + MySQL
Linux + Apache + Java (WebSphere) + Oracle
Windows Server 2003/2008 + IIS + C#/ASP.NET + 數(shù)據(jù)庫

數(shù)據(jù)庫

由于是千萬人一起拜訪的網(wǎng)站，所以一般是有許多個數(shù)據(jù)庫一起作業(yè)的，說明白一點便是數(shù)據(jù)庫集群和并發(fā)控制，數(shù)據(jù)散布到地理位置不同的數(shù)據(jù)中心，避免發(fā)生斷電事端。

主流的數(shù)據(jù)庫有Sun的是MySQL和Oracle。

Oracle是一款優(yōu)異的、廣泛選用的商業(yè)數(shù)據(jù)庫辦理軟件。有很強壯的功用和安全性，能夠處理相對海量的數(shù)據(jù)。而MySQL是一款十分優(yōu)異的開源數(shù)據(jù)庫辦理軟件，十分適合用多臺PC Server組成多點的存儲節(jié)點陣列(這兒我所指的不是MySQL自身供給的集群功用)，每單位的數(shù)據(jù)存儲成本也十分的低廉。用多臺PC Server裝置MySQL組成一個存儲節(jié)點陣列，經(jīng)過MySQL自身的Replication或許運用自身的處理，能夠很好的確保容錯(答應部分節(jié)點失效)，確保運用的健壯性和可靠性。能夠這么說，在聯(lián)系數(shù)據(jù)庫辦理體系的挑選上，能夠考慮運用自身的情況來決議。

MySQL數(shù)據(jù)庫服務器的master-slave形式，運用數(shù)據(jù)庫服務器在主從服務器間進行同步，運用只把數(shù)據(jù)寫到主服務器，而讀數(shù)據(jù)時則依據(jù)負載挑選一臺從服務器或許主服務器來讀取，將數(shù)據(jù)按不同策略劃分到不同的服務器（組）上，渙散數(shù)據(jù)庫壓力。

服務器集群與負載均衡

服務器群集中每個服務結點運行一個所需服務器程序的獨立仿制，而網(wǎng)絡負載均衡則將作業(yè)負載在這些主機間進行分配。負載均衡樹立在現(xiàn)有網(wǎng)絡結構之上，它供給了一種廉價有用的方法擴展服務器帶寬和添加吞吐量，加強網(wǎng)絡數(shù)據(jù)處理才能，進步網(wǎng)絡的靈活性和可用性。它首要完成以下使命:處理網(wǎng)絡擁塞問題，服務就近供給，完成地理位置無關性 ;為用戶供給更好的拜訪質量;進步服務器呼應速度;進步服務器及其他資源的運用功率;避免了網(wǎng)絡關鍵部位呈現(xiàn)單點失效。

常用的服務器集群和數(shù)據(jù)庫集群負載均衡完成方法：

CitrixNetScaler的硬件負載均衡交換機做服務器集群的負載均衡。
MySQL Proxy做MySQL服務器集群的負載均衡并完成讀寫別離。其完成讀寫別離的基本原理是讓主數(shù)據(jù)庫處理事務性查詢，而從數(shù)據(jù)庫處理SELECT查詢。數(shù)據(jù)庫仿制被用來把事務性查詢導致的變更同步到集群中的從數(shù)據(jù)庫。
CDN(Content Delivery Network): 幾乎在各大網(wǎng)站都有運用該技能。例如，使得你的網(wǎng)站在各省市拜訪更快，其原理是采取了散布式網(wǎng)絡緩存結構（即國際上流行的web cache技能），經(jīng)過在現(xiàn)有的Internet中添加一層新的網(wǎng)絡架構，將網(wǎng)站的內容發(fā)布到最接近用戶的cache服務器內，經(jīng)過DNS負載均衡的技能，判別用戶來歷就近拜訪cache服務器獲得所需的內容，處理Internet網(wǎng)絡擁塞狀況，進步用戶拜訪網(wǎng)站的呼應速度，好像供給了多個散布在各地的加速器，以達到快速、可冗余的為多個網(wǎng)站加速的意圖。

緩存

眾所周知，運用緩存能有用應對大負載，削減數(shù)據(jù)庫的壓力，并顯著進步**運用程序的功用，如果某個用戶屢次懇求同一資源，則能夠從緩存回來該資源，然后避免了從頭從服務器或數(shù)據(jù)庫懇求該資源而發(fā)生的體系開銷。緩存能夠經(jīng)過削減獲取懇求的資源所需的時刻，進步運用程序功用。緩存還能夠經(jīng)過削減到服務器的往返次數(shù)，下降網(wǎng)絡通信量。雖然緩存能夠進步功用，但它也添加了回來到運用程序的資源或許變得陳腐的危險。這意味著，回來的資源或許與假設沒有運用緩存的情況下，服務器有或許發(fā)送的資源并不徹底相同(即獲得“臟數(shù)據(jù)”)。

即便如此，簡單的緩存策略也能大大進步網(wǎng)站功用。例如，Youtube把首頁最新的視頻列表緩存60秒，也便是說60秒內并發(fā)的request都是從緩存讀取的，大大削減了數(shù)據(jù)庫壓力。再加上CDN，使得Youtube首頁的并發(fā)拜訪速度很快。

單機內存緩存、文件緩存、數(shù)據(jù)庫緩存等的策略都是能夠很簡單的完成的，例如能夠運用微軟的Caching Application Block，但怎么在集群環(huán)境中使多個緩存、**緩存并保存同步是個重大問題。大型網(wǎng)站一般都運用緩存服務器群，并運用**緩存。業(yè)內最常用的有：

Squidcache，Squid服務器群，把它作為web服務器端前置cache服務器緩存相關懇求來進步web服務器速度。Squid將大部分靜態(tài)資源(圖片，js，css等）緩存起來，直接回來給拜訪者，削減運用服務器的負載
memcache，memcache服務器群，一款散布式緩存產(chǎn)品，許多大型網(wǎng)站在運用; 它能夠應對任意多個連接，運用非堵塞的網(wǎng)絡IO。由于它的作業(yè)機制是在內存中拓荒一塊空間，然后樹立一個HashTable，Memcached自辦理這些HashTable。由于一般網(wǎng)站運用程序中最耗費時刻的使命是數(shù)據(jù)在數(shù)據(jù)庫的檢索，而多個用戶查詢相同的SQL時，數(shù)據(jù)庫壓力會增大，而經(jīng)過memcache的查詢緩存射中，數(shù)據(jù)直接從memcache內存中取，每次緩存射中將替換到數(shù)據(jù)庫服務器的一次往返，到達數(shù)據(jù)庫服務器的懇求更少，間接地進步了數(shù)據(jù)庫服務器的功用，然后使運用程序運行得更快。它經(jīng)過基于內存緩存目標來削減數(shù)據(jù)庫查詢的方式改進網(wǎng)站體系的反響，其最吸引人的一個特性便是支持散布式布置。有關memcache，以下文章能夠參閱：參閱1，參閱2，參閱3官方站點。
e-Accelerator，比較特別，PHP的緩存和加速器。是一個免費開源的PHP加速、優(yōu)化、編譯和動態(tài)緩存的項目，它能夠經(jīng)過緩存PHP代碼編譯后的成果來進步PHP腳本的功用，使得一貫很雜亂和離咱們很遠的 PHP腳本編譯問題徹底得到處理。經(jīng)過運用eAccelerator，能夠優(yōu)化你的PHP代碼執(zhí)行速度，下降服務器負載，能夠進步PHP運用執(zhí)行速度最高達10倍。

獨立的圖片服務器

無論從辦理上，還是從功用上看，只要有或許，盡量布置獨立的圖片服務器。這幾乎成為知識了。具有獨立的圖片服務器或許服務器集群后，在 Web 服務器上就能夠有針對性的進行裝備優(yōu)化。

其他

一個互聯(lián)網(wǎng)運用，除了服務器的操作體系，Web Server軟件，運用服務器軟件，數(shù)據(jù)庫軟件外，咱們還會涉及到一些其他的體系，比方一些中間件體系、文件存儲體系（圖片服務器，視頻服務器，辦理服務器，RSS和廣告服務器等等）、全文檢索、搜索、等等。會在今后介紹

上一條：音樂與規(guī)劃——了解色彩運...

下一條：網(wǎng)頁規(guī)劃著作賞識：用花朵...