看完了《大型網站技術架構》第二章好久了,感覺沒啥寫的,一直沒寫讀書筆記。今天在返回過來重新讀了一遍,突然發現好東西還是很多的。以下是我的讀書筆記。

什麼是模式?

模式就是描述我們周圍不斷重複發生的問題或者是該問題的解決方案的核心。模式的關鍵在於重複性,問題與場景的可重複性帶來了可以解決問題方案的重複性

網站的技術架構模式

對於一個不斷發展的網站來說,都會面臨以下幾種問題:高並發的訪問、海量的數據處理、高可靠的運行等等。這些不斷重複的問題,也帶來了很多解決問題的方案,形成大型網站的技術架構模式。

其解決問題的目的:實現一個高性能、高可用、易伸縮、可擴展、安全等各種技術架構目標。

一、分層

也就是將系統進行橫向維度上的切割。切分成幾個部分,每個部分負責一個部分相對單一的職責,通過上層對下層的依賴和調用組成一個完整的系統。

比如:網路的7層通信協議;計算機硬體、操作系統、應用軟體就是一種分層結構。

大型網站架構也會採用分層結構,將網站分為:服務層、數據層、應用層。(此處個人理解為MVC模型)

應用層負責具體業務和視圖展示; MVC模型中的 View層(static【 img、css、js、file】,jsp)服務層為應用層提供服務支持; MVC模型中的 Controller層(controller,service)數據層為服務層提供資料庫訪問服務;MVC模型中的Model層(entity,vo,mapper)

通過分層,可以將系統分為不同的部分,便於維護和開發。在大型網路發展中分層結構對網站支持高並發向分散式方向發展直觀重要

分層架構也有一些挑戰:必須合理規劃層次邊界和介面,咋開發過程中,嚴格遵守分層架構的約束,禁止跨層次的調用,及逆向調用。

二、分割

個人認為分割是在業務上進行的切分

分層是將軟體橫向切割,那麼分割就是在縱向方面對軟體進行切分。

網站越大,功能越複雜,服務和數據處理的種類也越多,將這些不同的功能進行切分,包裝成高內聚低耦合的模塊單元。

這樣的分割,一是有利於軟體的開發和維護,另一方面,便於不同的模塊進行分散式部署,降低部署的難度和代價。

三、分散式

大型網站的分割和分層主要是講一個業務或者是模塊進行分割,便於進行分散式部署。

分散式意味著可以使用更多的計算器完成同樣的功能,計算機越多,CPU、內存、存儲資源也就越多,能夠處理的並發訪問和數據量就越大,進而能夠成為更多為用戶提供服務。

分散式帶來的問題:

  • 分別部署意味著服務的調用必須通過網路,網路的波動對性能有很重要的影響
  • 服務越多,伺服器宕機的幾率越高。
  • 分別部署也即意味著一些數據共享,數據的一致性非常困難,分散式的事物也就越難。
  • 分散式會讓網站變的錯綜負載,開發管理維護困難。

常見的分散式方案:

  • 分散式應用和服務:即分層和分割
  • 分散式靜態資源:網站靜態的文件(css、js、img等)資源進行分散式部署
  • 分散式數據和存儲:傳統的關係資料庫的主從關係部署,NoSQL等非關係型資料庫的分散式部署
  • 分散式計算:例如:搜索引擎的索引構建、數據囊庫的數據分析統計。目前普遍使用Hadoop和MapReduce分散式計算框架進行批處理計算。其特點是移動計算而不是移動數據,將計算程序分發到數據所在的位置以加速計算和分散式計算
  • 支持網站線上伺服器實時更新的分散式配置;
  • 分散式環境下的分散式鎖
  • 支持雲存儲的分散式文件系統(例如:又拍雲)

四、集羣

分散式部署後。需要將伺服器集羣化。即多臺伺服器部署相同的應用構成一個集羣,通過負載均衡設備對外提供服務。

如果其中一臺伺服器宕機,負載均衡設備會將請求發送到同意集羣的其他伺服器上,是伺服器不影響用戶使用

五、緩存

緩存就是將數據存放在距離計算最近的位置以加速處理速度。

緩存是改善軟體的性能第一手段。

CDN:即內容分發網路,部署在距離終端用戶最近的網路伺服器,用戶的網路請求總是最新到達他的網路服務商南,這裡緩存網站的一些靜態資源,可以以最快的數據返回用戶

反向代理: 當用戶請求往回網站的數據中心,最先訪問的是反向代理伺服器,這是緩存網站的靜態資源,無需將請求繼續轉發給應用伺服器就能返回用戶

本地緩存:本地緩存大量的熱點數據,應用程序直接在本地內存中直接訪問數據,無需直接訪問資料庫。

分散式緩存:大型網站的數據非常龐大,只能緩存一部分,需要的內存不是一臺服務其可以存儲的。可以將數據存儲到一個緩存的集羣中。

六、非同步

業務之間的調用不是同步調用,而是講一個業務操作分成多個階段,,每個階段之間通過共享數據的方式非同步調用進行協作。

在單一伺服器內可以通過多線程共享內存隊列的方式實現非同步。處在業務操作前面的線程將數據寫入隊列,後面的線程從隊列中讀取數據進行處理;

在分散式系統中,多個伺服器集羣通過分散式消息隊列實現非同步。分散式消息隊列可以看做內存隊列的分散式部署。

非同步架構是典型 的生產者消費者模式,兩者不存在直接調用,只要保持數據結構不變,彼此功能實現可以隨意變化而不互相影響,這對網站擴展新功能非常便利。

非同步消息隊列的特性:

  • 提高系統的可用性
  • 加速網站的響應速度
  • 消除並發訪問高峯。使用消息隊列將突然增加的請求數據放入消息隊列中,等待消費者伺服器依次處理,就不會對整個網站負載造成壓力。

使用非同步方式處理業務能可能會對用戶體驗、業務流程造成影響,這需要網站產品設計方面的支持。

七、冗餘

網站需要7*24 小時的連續運行,但是伺服器隨時可能出現故障,特別是伺服器規模比較大時。要想保持在伺服器宕機的情況下依然可以繼續服務,不丟失數據,就需要一定程度的伺服器冗餘運行,數據冗餘備份,這樣當都臺伺服器宕機時,可以將其上的服務和數據訪問轉移到其他機器上

數據訪問和負載很小的服務,至少需要兩臺伺服器,其中一條做服務冗餘實現高可用。

資料庫除了定期備份,存檔保存,實現冷備份外,為了保證在線業務高可用,還需要實現對資料庫進行主從分離,實現熱災備。

為了抵禦地震海嘯等不可抗拒力導致的網路完全癱瘓,一些大型的網站好需要對整個數據中心進行備份,全球範圍內部署災備數據中心。網站程序和數據實時同步到多個災備數據中心。

八、自動化

在無人值守的情況下網站可以正常運行,一切都可以自動化是網站的李翔狀態,其自動化的架構設計實現主要集中在發布運維方面。

其主要實現:

  • 發布過程自動化
  • 自動化代碼管理
  • 自動化測試
  • 自動化安全監測(碼雲等)
  • 自動化部署(jenkins)
  • 自動化報警
  • 系統自動化失效轉移
  • 系統自動化分恢復
  • 網站安全的自動化降級
  • 資源的自動化資源分配

九、安全

網站在安全架構方面的也有很多模式:

  • 通過密碼和手機校驗碼進行身份認證
  • 登錄交易等操作對網路進行加密,網站伺服器上存儲的敏感數據如用戶信息也進行加密處理
  • 防止機器人程序濫用網路資源供給網站,使用驗證碼進行識別
  • 對於常見的xss攻擊、sql注入,進行編碼轉換等
  • 對於垃圾信息、敏感信心進行過濾
  • 對於交易轉賬等操作根據交易模式和交易信息進行風險控制

推薦閱讀:

查看原文 >>
相關文章