來源:Java團長

何謂大型網站


大型網站系統特點:

大型網站技術架構演化

ps:符合這些要求的所謂大型網站真的很少,可遇而不可求也。

說到大型網站,就要先理一下大型網站的特點:高併發,大流量,高可用,海量數據等,本文根據《大型網站技術架構》一書整理如下:

初始階段的網站架構


初始階段都比較簡單,通常一臺服務器就可以搞定一個網站了,一臺服務器搞定所有演示站點,後期逐漸優化,向更優的方向進化!

大型網站技術架構演化

應用服務和數據服務分離


隨着網站業務的發展,一臺服務器逐漸不能滿足需求,這時候就需要將應用和數據分離:

大型網站技術架構演化

使用緩存改善網站性能


現在的80%的業務訪問都會集中在20%的數據上,網站基本上都會使用緩存,前文中也有關於緩存的相關教程,我們的perfect-ssm項目目前處於這個階段中,通過緩存層的接入,減少部分對數據庫的直接壓力,提升網站的響應性能。

大型網站技術架構演化

使用應用服務器集羣改善網站的併發處理能力


因爲單一應用服務器能夠處理的請求連接有限,在網站訪問高峯時期,應用服務器會成爲整個網站的瓶頸,因此使用負載均衡處理器勢在必然,通過負載均衡調度服務器,可將來自瀏覽器的訪問請求分發到應用的集羣中的任何一臺服務器上,進一步將壓力分擔掉。

大型網站技術架構演化

數據庫讀寫分離


當用戶達到一定規模後,數據庫因爲負載壓力過高而成爲網站的瓶頸,而目前主流的數據庫都提供主從熱備功能,通過配置兩臺數據庫主從關係,可以將一臺數據庫的數據更新同步到另一臺服務器上,網站利用數據庫這一功能實現數據庫讀寫分離,從而改善數據庫負載壓力。

大型網站技術架構演化

目前很多雲服務商都有類似的產品提供,當然,也可以自己搭建數據庫集羣並在業務代碼中進行讀寫分離的實現(有時間會整理相關教程)。

使用反向代理和CDN加上網站相應


提高網站的訪問速度,主要手段有使用CDN和反向代理。

大型網站技術架構演化

CDN和反向代理的基本原理都是緩存,區別在於CDN部署在網絡提供商的機房,而反向代理是部署在網站的中心機房,當用戶請求到達中心機房後,首先訪問的反向代理,如果反向代理緩存着用戶請求的資源,則直接返回給用戶。

使用分佈式文件系統和分佈式數據庫系統


任何強大的單一服務器都滿足不了大型網站持續增長的業務需求。

分佈式數據庫時網站數據庫拆分的最後手段,只用在單表數據規模非常大的時候才使用。不到不得已時,網站更常用的數據庫拆分手段是業務拆分,將不同業務的數據部署在不同的物理服務器上。

大型網站技術架構演化

使用NoSQL和搜索引擎


大型網站技術架構演化

搜素引擎也基本已經形成現在大型網站必須提供的功能了,網站需要採用一些非關係數據庫技術如NoSQL和非數據庫查詢技術如搜索引擎。各種開源產品不斷湧現,遍地開花:redis、mongodb、solr、elastic stack、hadoop、spark......

關於搜索引擎的接入,目前考慮在My-Blog項目中接入elastic search,優化文章搜索模塊。

大型網站技術架構演化

業務拆分


大型網站爲了應對日益複雜的業務場景,通過使用分而治之的手段將真個網站業務拆分成不同的產品線。

具體到技術上,也會根據產品線話費,將一個網站拆分成許多不同的應用,每個應用獨立部署維護。應用之間可以通過超鏈接建立管理,也可以通過消息隊列進行數據分發,當然最多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

大型網站技術架構演化

分佈式服務


由於每一個應用系統都需要執行許多相同的業務操作,比如用戶管理,session管理,那麼可以將這些公用的業務提取出來,獨立部署。

大型網站技術架構演化

本文思維導圖


大型網站技術架構演化

整理圖片整理的要吐血了。


大型網站系統特點:

大型網站技術架構演化

ps:符合這些要求的所謂大型網站真的很少,可遇而不可求也。

說到大型網站,就要先理一下大型網站的特點:高併發,大流量,高可用,海量數據等,本文根據《大型網站技術架構》一書整理如下:

初始階段的網站架構


初始階段都比較簡單,通常一臺服務器就可以搞定一個網站了,一臺服務器搞定所有演示站點,後期逐漸優化,向更優的方向進化!

大型網站技術架構演化

應用服務和數據服務分離


隨着網站業務的發展,一臺服務器逐漸不能滿足需求,這時候就需要將應用和數據分離:

大型網站技術架構演化

使用緩存改善網站性能


現在的80%的業務訪問都會集中在20%的數據上,網站基本上都會使用緩存,前文中也有關於緩存的相關教程,我們的perfect-ssm項目目前處於這個階段中,通過緩存層的接入,減少部分對數據庫的直接壓力,提升網站的響應性能。

大型網站技術架構演化

使用應用服務器集羣改善網站的併發處理能力


因爲單一應用服務器能夠處理的請求連接有限,在網站訪問高峯時期,應用服務器會成爲整個網站的瓶頸,因此使用負載均衡處理器勢在必然,通過負載均衡調度服務器,可將來自瀏覽器的訪問請求分發到應用的集羣中的任何一臺服務器上,進一步將壓力分擔掉。

大型網站技術架構演化

數據庫讀寫分離


當用戶達到一定規模後,數據庫因爲負載壓力過高而成爲網站的瓶頸,而目前主流的數據庫都提供主從熱備功能,通過配置兩臺數據庫主從關係,可以將一臺數據庫的數據更新同步到另一臺服務器上,網站利用數據庫這一功能實現數據庫讀寫分離,從而改善數據庫負載壓力。

大型網站技術架構演化

目前很多雲服務商都有類似的產品提供,當然,也可以自己搭建數據庫集羣並在業務代碼中進行讀寫分離的實現(有時間會整理相關教程)。

使用反向代理和CDN加上網站相應


提高網站的訪問速度,主要手段有使用CDN和反向代理。

大型網站技術架構演化

CDN和反向代理的基本原理都是緩存,區別在於CDN部署在網絡提供商的機房,而反向代理是部署在網站的中心機房,當用戶請求到達中心機房後,首先訪問的反向代理,如果反向代理緩存着用戶請求的資源,則直接返回給用戶。

使用分佈式文件系統和分佈式數據庫系統


任何強大的單一服務器都滿足不了大型網站持續增長的業務需求。

分佈式數據庫時網站數據庫拆分的最後手段,只用在單表數據規模非常大的時候才使用。不到不得已時,網站更常用的數據庫拆分手段是業務拆分,將不同業務的數據部署在不同的物理服務器上。

大型網站技術架構演化

使用NoSQL和搜索引擎


大型網站技術架構演化

搜素引擎也基本已經形成現在大型網站必須提供的功能了,網站需要採用一些非關係數據庫技術如NoSQL和非數據庫查詢技術如搜索引擎。各種開源產品不斷湧現,遍地開花:redis、mongodb、solr、elastic stack、hadoop、spark......

關於搜索引擎的接入,目前考慮在My-Blog項目中接入elastic search,優化文章搜索模塊。

大型網站技術架構演化

業務拆分


大型網站爲了應對日益複雜的業務場景,通過使用分而治之的手段將真個網站業務拆分成不同的產品線。

具體到技術上,也會根據產品線話費,將一個網站拆分成許多不同的應用,每個應用獨立部署維護。應用之間可以通過超鏈接建立管理,也可以通過消息隊列進行數據分發,當然最多的還是通過訪問同一個數據存儲系統來構成一個關聯的完整系統。

大型網站技術架構演化

分佈式服務


由於每一個應用系統都需要執行許多相同的業務操作,比如用戶管理,session管理,那麼可以將這些公用的業務提取出來,獨立部署。

大型網站技術架構演化

本文思維導圖


大型網站技術架構演化

整理圖片整理的要吐血了。

相關文章