如题。固态硬碟已经越来越便宜了,效果不会更好吗?


有的, 只是你没看到而已.

  • 商业级方案:比如SuperMicro的方案:

SuperStorage 1029P-NMR36L

32个NF1 FLASH. 淘宝有售. 这东西必须要靠PCIE Switch了, 因为双路CPU提供的PCIE带宽不够用.

再比如IBM的方案:

IBM FlashSystem A9000

最大 1, 200TB, 900,000 IOPS, 250μs latency. 这其实是几台伺服器拼起来的一个系统. (你甚至可以在淘宝上找到二手货)

就连群辉都想蹭个热度:

  • 普通方案

好了, 那么FULL SSD NAS究竟是什么限制了它的发展呢? 可以归纳为以下几条:

我们假设按照SSD1块钱1GB的水平来计算, 一个10TB的NAS仅仅SSD的费用就是一万块(这还没算NAS机器的钱). 而垃圾佬SAS盘, 6TB 600块(现在涨到了750-800), 折合1毛每GB, 买到就是赚到好么...

  • 性能可以堆

HDD NAS 只要节点足够, 性能可是可以上去的(IOPS提升会困难, 但是可以加个SSD当缓存, 提升IOPS), 比如, RAID0一时爽,一直RAID0一直爽. 而且还有CEPH这种新的方案, 传统NAS已经面临挑战.

  • CPU提供的带宽不够, 导致容量上去了性能却不能全部利用

最新的 Intel Xeon Platinum CPU 也只能提供 48 PCIe 3.0 的带宽. 假设我们上NVMe SSD, 每个用PCIe 3.0 x4, 那么理论上最大也只能插12块这样的SSD. 当然可以双路CPU翻倍, 但又不是大型机, Xeon的多路数量也是有上限的. 而且双路以上的U还特别贵......

  • 网路带来的问题

刚才说了理论上最大12块 NVMe SSD, 实际上NAS需要让外部访问的, 不然只是个AS,称不上"N"AS. 所以还要网卡跟得上. 一个PCIe 3.0 x 16 的 100Gb 网卡也是必不可少的. 那么加上一块网卡, 可用的PCIe带宽只剩下 48 -16 = 32了. (100Gbps/8=12.5GBps, 按照NVMe平均都能上1GB读性能计算, 13块NVMe SSD就能打满这个100G网卡了, 如果读性能能上2G, 那么7块就能搞定)

  • 客户端的问题也不能忽视

现在好了, 我们假设砸钱来了个4路顶级XEON, 48块读性能2GBps的NVMe, 外加4块100Gb网卡的 读性能能达到 400Gbps (50GBps) 的 史诗级NAS.

然后我打开了我的台式机, 从NAS上往本地拉一个100G的高清动*作电影, 就我这秒天秒地秒空气的400Gb 网路, 区区100G的匹夫小电影, 2秒下完何足挂齿.

这时你会发现, 哎?为什么下了5分钟? 为什么下了载速度只有400MB? 啊......原来我本地是一块Intel 545s, 最高持续写只有400MB/s......

  • 实践经验

好了, 以下就是广告时间了.

我有个 60TB CEPH 组的 NAS, 为了加快访问速度, 上了 2块 Intel P3700 NVMe 作为缓存.

系统用的是 56Gb InfiniBand 作为网路.

这堆东西堆起来理论上写入性能有 24Gbps (3GBps).

搭建详情见这里:

搭建家庭 NAS 伺服器有什么好方案??

www.zhihu.com图标

然而, 情况却是这样的:

为什么? 因为我本地的SSD是个 Intel 545s ....

  • 总结

好了, 最后总结就是:

当然有固态做的NAS, 要么用不起, 要么本地跟不上, 要么.......

贼鸡儿费电..................

最后,欢迎加入高端垃圾老群, 一起交流家用万兆, 40/56Gb 网路, 50TB+级NAS, 软路由, 自组伺服器, 家庭IDC.....

http://qm.qq.com/cgi-bin/qm/qr?k=VVjV2VpTfqjQlXZ_RjJw0NhjUIHA37r6 (二维码自动识别)

【完】


满足您的愿望!(24个U.2硬碟坞)


//上面那几个超微在purestorage面前感觉就是个弟弟

FlashArray产品

FlashBlade产品

说真的,每次看到这些机器,就好像看到了装满金条的保险箱


可以,但没必要。

采用SATA介面+AHCI协议的2.5英寸固态硬碟和2.5英寸机械硬碟是基本通用的。

上PCIe+NVMe的固态硬碟则有两个问题。

第一个问题是PCIe通道数不足。

大部分NAS都是采用的低功耗x86平台,PCIe Lane数非常有限,无法支持同时运行多块PCIe固态硬碟的带宽需求。

即便是CoffeeLake-S的旗舰平台(如Z390、C246晶元组),也只有16+24条PCIe 3.0通道。

要命的是,其中24条来自PCH,也就是到CPU的带宽仍受限于DMI 3.0汇流排的8GT/s(就是PCIe 3.0,一共四条,忽略128b/130b校验位计算,理论速度约为4GB/s)。

至于CPU提供的16条PCIe也不好利用,因为默认的拆分策略只有1x16, 2x8, 1x8+2x4这几种,还得额外配备PCIe拆分晶元才能实现4x4甚至是8x2这样的分配方式。

当然,如果愿意加钱上C400(仅C422一个型号)甚至是C600系列平台这都不是问题。

第二个问题是网路瓶颈。

目前大部分高端桌面电脑都只配备了千兆网卡(1000Mbps有线网卡以及1733Mbps无线网卡),仅极少数配备了2.5Gbps甚至5Gbps、10Gbps有线网卡,所以网路仍然是一大瓶颈。

而且这一瓶颈可以被主流PCIe固态轻松超过(PCIe 3.0 x4理论带宽32Gbps了解一下),还不用说万兆交换机多贵了。

所以在NAS里用固态硬碟作为缓存档进行加速是比较合适的选择。


1-2块ssd的性能已经超过绝大多数x86 nas机头的性能,所有的x86 nas的性能都不超过万兆网路的性能 1000M每秒

绝大多数性能在200-400M每秒之间,点对点磁碟性能,用ssd会略高点 不过波动很大

只有商用控制器存储的nas才能发挥出ssd的性能

那是全闪统一存储


推荐阅读:
相关文章