比如我們用i9的處理器,64G的DDR4內存,SSD硬碟做RAID 0,多個100G的網卡等等,軟路由的轉發效率能有多少Mpps?能有1000Mpps嗎?或者說能超過華為的NE20E-S16A的水平(8個100G埠線速轉發)嗎?帶機量能有多大?能達到幾萬臺嗎?


謝邀。

大家特別感興趣的幾個地方又重新編輯補充了下。

這塊早幾年給黑寬頻做了不少方案,路由器基本全是x86 CPU+網卡的軟路由,

根本原因就一個:同價位的條件下,軟路由的性能是最高的

100G這塊沒跑過,沒條件幫樓主測試下,就說說之前的那些黑寬頻軟路由的事兒吧:

先說明:這裡的黑寬頻泛指除了三大運營商以外的中小ISP,有證沒證的都有。

和網上人云亦云的瞎扯不一樣,給黑寬頻用的軟路由基本從來就不是拿二手低配電腦糊弄的。

CPU和主板x86平臺裡面都是都是高端的,E5200普及的時候,就開始用上Q9300+P45了,沒用G41,一是集顯的板子當時都是低端居多,供電跟不上,二是當時的集顯都在北橋裡面,持續跑容易過熱虛焊。PCI介面的RAGE XL的顯卡直接插上,方便調試,PCIe16x插槽留出來插四口網卡用。

網卡基本都是PCIe的,這點主要是延遲和效率考慮,Intel的8257x系列的千兆居多,也有BCM57xx之類的,後來達到幾萬戶的時候,就開始用上X520這些萬兆網卡。網卡TOL性能這塊軟路由是可以充分利用上的,所以基本不用百兆網卡,淘寶上吹到現在還在吹的82559/82550GY系列百兆實際上就從來沒用過,沒預算寧可拿千兆瑞昱8169湊合。為了保證網卡穩定,都是有顯卡伴侶一樣的8025風扇套件直接吹網卡來強制散熱。

說下性能,Q9300最高同時在線3000戶,這個時候CPU最多能跑到70%多些,這個時候軟路由兩個LAN口已經跑滿,因為黑寬頻也一樣,用戶下載玩遊戲看視頻都齊活,大包小包都有,所以可以認為同時跑滿兩個1000Mpbs是毫無壓力

為什麼拆兩個LAN口,主要是當時管理交換機太貴,拆成兩個區域網的話,根交換機可以選更便宜的,此外萬兆網卡也不便宜,實際上單一個LAN口,CPU負載會更低。同樣,當時一些大的黑寬頻被要求有上網行為存儲,需要做鏡像口,當時千兆的網管交換機實在太貴了,也是放在路由器做了。對於當時網管交換機和硬路由幾百MHz的主頻,軟路x86的幾GHz的頻率是可以捎帶幹交換機的活兒了。

看到評論裡面說「硬體加速」,x86平臺對於這個問題的解決思路同重負荷轉發時的延遲抖動一樣,都是「力大出奇蹟」,重負載延遲抖動不好解決是吧?CPU配置餘量大點,雙核能幹的上四核,Q6600就行的,開始就上Q9300。畢竟比起三大ISP用的天價BRAS,CPU貴上幾百幾千真不算啥大成本。

黑寬頻的軟路由除了NAT以外,通常還兼做認證計費,一般都是pppoe協議,二次解包封包,更喫CPU,有的黑寬頻為了降低負載,單獨一臺PC做BRAS用。

那時軟體這塊主要有:海蜘蛛、ROS、愛快、碧海威、PA。轉發效率這塊很出乎大家意料,愛快最高。現在活得最好的是技術流PA(派網/Panabit),碧海威網吧混的也還可以,跟Pa的馬甲流控大師不知道現在掐架咋樣了,海蜘蛛後續無人,原版人家分家各起爐竈,ROS是x86盜版太多,官方更專註CCR之類的自家硬體,愛快是專心鼓搗中小企業這塊,賣AP之餘,還在瞎折微信吸粉、騰繁星這種的miniCDN之類的玩。

當時向華為、中興和烽火詢過價,還沒等到廠家報價,電信、聯通負責採購的夥計們告訴了一臺ME60幾十上百的市麵價格(ISP採購東西水分有多少都明白),就嚇跑了準備「硬路由+正規化」黑寬頻們,呵呵,百分之一價碼幹一樣的事兒,當然繼續軟路由了,再說軟路由基於web的中文界面,總比串口線掛上弄個黑漆漆的超級終端簡單易用吧。

後續黑寬頻的頂峯,大概單機有八萬戶的,同時活躍在線最高的有五萬戶靠上,這個時候OLT已經便宜到不到一萬一套了,黑寬頻們也終於受夠了交換機、光電收發器、網線這種稀爛糖葫蘆串聯法的對自家裝維工的折磨,碰巧熔纖機也全面國產化,紛紛鳥槍換炮,全面PON化。

這個時候的軟路由已經是E3起步了,大部分都是E5 16xx,因為單路的E5主頻更高,當時軟路由大部分軟體都是主頻比核心數更敏感,八核以上的優化不算太理想。

網卡都是萬兆的,直通OLT的上聯,因為OLT性能理想,很多需要鏡像埠保存上網記錄的,直接做在OLT上,之前都是讓路由上做鏡像口,比較佔CPU。

有了這幾點,高峯期帶寬上就有跑滿10G的時候,但持續時間很短,太長了肯定也是要分開帶的,有用vrrp協議做集羣的,後來發現還不如拆開了單獨負載客戶。

這個時候BRAS便宜了不少,可惜黑寬頻們又有新的痛點需求——「流控」,緊張有限的出口帶寬優先保證遊戲、語音的低延遲。幾大ISP供應商的類似百萬級別的產品,又讓黑寬頻們通過PA、碧海威之類的軟體以百分之幾的成本搞定。

在線視頻的流行,又讓黑寬頻們紛紛上架部署近端緩存,一堆硬碟外加一臺大內存PC,一些熱播劇流行的時候,能省下不少出口帶寬,配合軟路由的防火牆,還捎帶坑了把視頻網站,片頭廣告都給折騰沒了。

後來這招被廣電和移動給發揚光大,當然人家是土豪,用的大都是華為iCache,效果對P2P這塊支持更好,知乎上大企業的網管可以關注下。

看看,黑寬頻也不全是坑貨,做生意嘛,他們也是在努力改善客戶體驗的,當然實力所限,肯定不能全面滿足,比如一堆用戶非得給他們要個公網IP,那就真的哈哈了。

很可惜這已是黑寬頻們最後的得意+囂張歡樂時光了。

後來因為移動帶頭」免費「送,外加宏觀上ZF拿提速降費代替搞定醫保和房價來刷政績,這邊的黑寬頻們就陸陸續續關門的關門、賣身給移動的下嫁,很遺憾,沒演進到100Gpbs好表演給樓主看,呵呵。

據一些同行說,部分地市的移動和「鳥」博士家還有繼續用軟路由折騰的,不知道知乎上有沒有他們家的人士,具體情況就不得而知了。

所以說,可以依據事實說話,軟路由跑滿10Gpbs是毫無問題的,帶機量可以幾萬戶,要每戶的電腦、平板、手機算上,按十幾萬臺也不算誇張。

至於CPU,100G的網卡單卡需要16x帶寬,八卡的話這麼多PCIe通道,恐怕得四路平臺了,i9肯定不行。

內存這塊軟路由主要是跟會話數路由規則數有點關係,當時負載幾萬戶的時候,也就8-16G,64G估計100G可能真用的到。

硬碟這塊真的跟SSD沒關係。實際上這些方案裡面大小規模的就沒有用到一塊SSD,主要是丟數據,而且軟路由裝載很快,機械盤也慢有限,跑起來以後在內存裡面運行,除了日誌往硬碟上寫,當時SSD試過了,穩定性堪憂,加上寫壽命這塊是越來越差,所以不會優先考慮SSD,更不會SSD RAID0。路由專用DOM盤,實際上是SLC/eMLC的小容量SSD,用在網吧之類的寫入很小的軟路由上還是很不錯的,如果需要日誌存儲,還是要外掛機械盤。

當然現在有傲騰了,題主可以試試看。

再補充下:現在骨幹網路由趨勢也是Xeon CPU+FPGA/ASIC。定製的晶元來實現線速轉發,intel家的CPU來實現路由策略,某種程度上這個也算軟路由吧,實際上軟硬路由本質上也沒太多區別。

有網友關心緩存系統,這裡補充說明下:黑寬頻這些中小ISP用的主流Panabit+iXCache,

是Panabit的緩存軟體,可以配合PA工作在牽引模式,此外標準版是免費的。下面是官方鏈接,可以瞭解下。

一鍵安裝與使用_Panabit官方網站

此外還有武漢秒開,免費的帶緩存路由,但bug比較多點。

秒開加速路由系統下載 - 秒開網路


我是他們家產品的用戶,下面這個截圖的設備cpu是賽揚的,2GB內存,一臺設備nat+pppoeserver+vlan擴wan

x86架構。60G下行,可能有其他更大流量沒公佈吧。

純國產,www.panabit.com

抖音號不是我的,可能是官方工作人員的。


如果是一般家用那種esxi或者pve虛擬化的軟路由,單純網路性能上其實性能跟同價位的硬路由差不了多少,這還是網口直通的前提下。如果是採用虛擬網卡,那性能根本不如同價位的硬路由。

軟路由的強項其實是在於全能,x86 cpu有較強的通用處理能力,所以在流控,不可描述這種需求上比arm的硬路由要強一點。

但是軟路由最主要的問題在於,沒有交換晶元,沒有硬體加速,所有網路流量都要走cpu,這是一件很難受的事,而且越是高端就越是如此,到了i9或者e5這個級別,高端的硬路由都會有專門的晶元做流控,vpn等等。那麼這時候軟路由基本上是一點性價比都沒有了。


供你參考一下:

之前看過一個使用 酷睿E5200 2G內存做軟路由的測試報告,

1518的包 大概有1000Mbps

64的包大概有60Mbps ,

具體多少Mpps你可以自己換算一下。


交換性能這塊建議參考下OVS的測試資料。


推薦閱讀:
相關文章