為什麼沒有用固態硬碟做NAS的設備?
如題。固態硬碟已經越來越便宜了,效果不會更好嗎?
有的, 只是你沒看到而已.
- 商業級方案:比如SuperMicro的方案:
SuperStorage 1029P-NMR36L
32個NF1 FLASH. 淘寶有售. 這東西必須要靠PCIE Switch了, 因為雙路CPU提供的PCIE帶寬不夠用.
再比如IBM的方案:IBM FlashSystem A9000
最大 1, 200TB, 900,000 IOPS, 250μs latency. 這其實是幾臺伺服器拼起來的一個系統. (你甚至可以在淘寶上找到二手貨)
就連羣輝都想蹭個熱度:
- 普通方案
好了, 那麼FULL SSD NAS究竟是什麼限制了它的發展呢? 可以歸納為以下幾條:
- 貴
我們假設按照SSD1塊錢1GB的水平來計算, 一個10TB的NAS僅僅SSD的費用就是一萬塊(這還沒算NAS機器的錢). 而垃圾佬SAS盤, 6TB 600塊(現在漲到了750-800), 摺合1毛每GB, 買到就是賺到好麼...
- 性能可以堆
HDD NAS 只要節點足夠, 性能可是可以上去的(IOPS提升會困難, 但是可以加個SSD當緩存, 提升IOPS), 比如, RAID0一時爽,一直RAID0一直爽. 而且還有CEPH這種新的方案, 傳統NAS已經面臨挑戰.
- CPU提供的帶寬不夠, 導致容量上去了性能卻不能全部利用
最新的 Intel Xeon Platinum CPU 也只能提供 48 PCIe 3.0 的帶寬. 假設我們上NVMe SSD, 每個用PCIe 3.0 x4, 那麼理論上最大也只能插12塊這樣的SSD. 當然可以雙路CPU翻倍, 但又不是大型機, Xeon的多路數量也是有上限的. 而且雙路以上的U還特別貴......
- 網路帶來的問題
剛才說了理論上最大12塊 NVMe SSD, 實際上NAS需要讓外部訪問的, 不然只是個AS,稱不上"N"AS. 所以還要網卡跟得上. 一個PCIe 3.0 x 16 的 100Gb 網卡也是必不可少的. 那麼加上一塊網卡, 可用的PCIe帶寬只剩下 48 -16 = 32了. (100Gbps/8=12.5GBps, 按照NVMe平均都能上1GB讀性能計算, 13塊NVMe SSD就能打滿這個100G網卡了, 如果讀性能能上2G, 那麼7塊就能搞定)
- 客戶端的問題也不能忽視
現在好了, 我們假設砸錢來了個4路頂級XEON, 48塊讀性能2GBps的NVMe, 外加4塊100Gb網卡的 讀性能能達到 400Gbps (50GBps) 的 史詩級NAS.
然後我打開了我的臺式機, 從NAS上往本地拉一個100G的高清動*作電影, 就我這秒天秒地秒空氣的400Gb 網路, 區區100G的匹夫小電影, 2秒下完何足掛齒.
這時你會發現, 哎?為什麼下了5分鐘? 為什麼下了載速度只有400MB? 啊......原來我本地是一塊Intel 545s, 最高持續寫只有400MB/s......
- 實踐經驗
好了, 以下就是廣告時間了.
我有個 60TB CEPH 組的 NAS, 為了加快訪問速度, 上了 2塊 Intel P3700 NVMe 作為緩存.
系統用的是 56Gb InfiniBand 作為網路.
這堆東西堆起來理論上寫入性能有 24Gbps (3GBps).
搭建詳情見這裡:
搭建家庭 NAS 伺服器有什麼好方案??www.zhihu.com然而, 情況卻是這樣的:
為什麼? 因為我本地的SSD是個 Intel 545s ....
- 總結
好了, 最後總結就是:
當然有固態做的NAS, 要麼用不起, 要麼本地跟不上, 要麼.......
賊雞兒費電..................
最後,歡迎加入高端垃圾老羣, 一起交流家用萬兆, 40/56Gb 網路, 50TB+級NAS, 軟路由, 自組伺服器, 家庭IDC.....
http://qm.qq.com/cgi-bin/qm/qr?k=VVjV2VpTfqjQlXZ_RjJw0NhjUIHA37r6 (二維碼自動識別)
【完】
滿足您的願望!(24個U.2硬碟塢)
//上面那幾個超微在purestorage面前感覺就是個弟弟
FlashArray產品
FlashBlade產品
說真的,每次看到這些機器,就好像看到了裝滿金條的保險箱
可以,但沒必要。
採用SATA介面+AHCI協議的2.5英寸固態硬碟和2.5英寸機械硬碟是基本通用的。
上PCIe+NVMe的固態硬碟則有兩個問題。
第一個問題是PCIe通道數不足。
大部分NAS都是採用的低功耗x86平臺,PCIe Lane數非常有限,無法支持同時運行多塊PCIe固態硬碟的帶寬需求。
即便是CoffeeLake-S的旗艦平臺(如Z390、C246晶元組),也只有16+24條PCIe 3.0通道。
要命的是,其中24條來自PCH,也就是到CPU的帶寬仍受限於DMI 3.0匯流排的8GT/s(就是PCIe 3.0,一共四條,忽略128b/130b校驗位計算,理論速度約為4GB/s)。
至於CPU提供的16條PCIe也不好利用,因為默認的拆分策略只有1x16, 2x8, 1x8+2x4這幾種,還得額外配備PCIe拆分晶元才能實現4x4甚至是8x2這樣的分配方式。
當然,如果願意加錢上C400(僅C422一個型號)甚至是C600系列平臺這都不是問題。
第二個問題是網路瓶頸。
目前大部分高端桌面電腦都只配備了千兆網卡(1000Mbps有線網卡以及1733Mbps無線網卡),僅極少數配備了2.5Gbps甚至5Gbps、10Gbps有線網卡,所以網路仍然是一大瓶頸。
而且這一瓶頸可以被主流PCIe固態輕鬆超過(PCIe 3.0 x4理論帶寬32Gbps瞭解一下),還不用說萬兆交換機多貴了。
所以在NAS裏用固態硬碟作為緩存檔進行加速是比較合適的選擇。
1-2塊ssd的性能已經超過絕大多數x86 nas機頭的性能,所有的x86 nas的性能都不超過萬兆網路的性能 1000M每秒
絕大多數性能在200-400M每秒之間,點對點磁碟性能,用ssd會略高點 不過波動很大
只有商用控制器存儲的nas才能發揮出ssd的性能
那是全閃統一存儲
推薦閱讀: