1.哪些牌子的GPU伺服器值得推薦?(不是雲伺服器)

2.還有買一個伺服器插一塊好的GPU與插多塊次一點的GPU哪個方案好?

3.多塊GPU跑程序的時候指定了GPU_id就會沾滿整個GPU嗎?是不是沒法再跑其他程序了


1.專業的GPU伺服器可以嘗試下AMAX,英偉達授權的OEM廠商的也可以。

2.第二個問題的話,我有個建議,按照GPU伺服器的一般尿性,你可以按照:

雙寬PCI-E(大的,比如說Tesla P100/GeForce GTX 1080 Ti這種,功耗300W差不多)

單寬PCI-E(稍微小點的,比如說Tesla P4 功耗不到100W)

還有傳說中的NVLINK(Tesla P100/V100都有這種)

那麼咱們拿最常見的我所謂的雙寬PCI-E來舉例說明,一般的2U伺服器應該都是2張(橫向放置,據說戴爾的R740可以放三個,我們沒有實際操作過),那麼業內我所知道的可以放置這種卡的一般也就是8張了(比如我們實際操作過的超雲R8420)。

言歸正傳,現在我來認真回答你的第二個問題;

我們來對比下GTX 1080 Ti和P100(參考標準:售價)

嘿嘿,你說哪個合適點?GTX 1080 Ti*2和P100性能哪個強點?

第三個問題留給應用層的大佬。

下面P個神器:

不就是堆嘛。。。。誰怕誰呀。


品牌伺服器的選擇

一、品牌GPU伺服器首推的自然是NVIDIA DGX系列:DGX工作站、DGX-1、DGX-2;分別是是NV-LINK的Tesla V100 32GB的 4卡、8卡、16卡 機!價格也很美麗:50/100/300萬吧!

反正這種機器不可能私人掏腰包,只要預算有,我個人還是推薦這個的!不光是性能強,關鍵是部署簡單!

二、各OEM廠商的品牌伺服器裏各路大神們都有專門的GPU伺服器:

1、1-3卡的:老三樣中的惠普DL380/388系列、Dell R740系列、聯想(您就當是還是IBM)SR650系列!都是2U2P的伺服器,當然國產品品牌H3C 4900、華為2288H等機型,都是可以上2-3塊雙寬的GPU的伺服器!

2、4卡的:2U上4卡的伺服器不多,一般四卡的多數以塔式伺服器為主:惠普ML350、dell T640、聯想558(這個有點喫不準);機架式2U的四卡伺服器:聯想SR670、浪潮NF5280,我記得是可以上4卡的!

3、8卡機器:推薦H3C R5300G3、惠普的阿波羅6500、聯想的HG860X!其他,不熟啦!有空的您可以自己去看看!

關於GPU的選擇:

以前的GPU型號不說了,截止現在來說,自己動手DIY GPU伺服器,選擇的餘地很小了:

官方推薦的卡:T4和V100

民間實踐的卡:RTX2080Ti和TITAN RTX

官方推薦的源於Tesla卡的材料品質更好點,RTX2080Ti 嘛說到底還是遊戲卡 消費類的嘛,差點也無所謂!TITAN系列雖說也是專業級別的卡,可人家老黃說了,TITAN系列是給臺式機用的,Tesla 纔是給伺服器用的!

所以怎麼選?還得看用戶是怎麼用的?如果你雙精度等科學計算的話自然首選V100!如果只是個簡單訓練,感受下深度學習那就RTX2080Ti、如果再嚴格苛刻點那就TITAN RTX了!入門級的做個推理或者視頻類啥的,那就T4啦!如果做VDI+GPU虛擬化的GPU伺服器只能選Tesla T4/V100 和RTX6000/8000這四種卡(別給我扯K1/K2/M10/M60/P4/40!都停產了)!

先到這兒吧!有興趣交流的和了解市場行情的可以百度下ITSTO這個網站!


先說下3吧, MIG(多實例 GPU) 已經誕生,打破了 GPU 虛擬化中資源分配的瓶頸,能夠將基於安培架構的 GPU 伺服器 A100 切分成 7 個 GPU 實例,並且可以使每一個 GPU 實例都能夠擁有各自的 SMs 和內存系統,讓每個實例之間的內存空間訪問互不幹擾,保障每一個使用者的工作時延和吞吐量都是可預期的。

依前樓所說,在計算能力相當的情況下,優先選一塊好的GPU,因為多塊次一點的GPU會帶來更大的主板供電壓力。例如,Titan X Pascal幾乎是GTX 980的三倍性能。

傳統PCI-e匯流排的GPU伺服器分為兩類:

一類是OEM伺服器,經過NVIDIA官方測試認證的廠商。比如我們寬泛科技不僅是NVIDIA的戰略合作夥伴,同時已成為NVIDIA潛力AI公司加速計劃成員

另一類是非OEM的伺服器,也包括很多種類。

選擇GPU伺服器時首先要考慮業務需求來選擇適合的GPU型號。在HPC高性能計算中還需要根據精度來選擇,比如有的高性能計算需要雙精度,這時如果使用P40或者P4就不合適,只能使用V100或者P100;同時也會對顯存容量有要求,比如石油或石化勘探類的計算應用對顯存要求比較高;還有些對匯流排標準有要求,因此選擇GPU型號要先看業務需求。

GPU伺服器人工智慧領域的應用也比較多。在教學場景中,對GPU虛擬化的要求比較高。根據課堂人數,一個老師可能需要將GPU伺服器虛擬出30甚至60個虛擬GPU,因此批量Training對GPU要求比較高,通常用V100做GPU的訓練。模型訓練完之後需要進行推理,因此推理一般會使用P4或者T4,少部分情況也會用V100。

當GPU型號選定後,再考慮用什麼樣GPU的伺服器。這時我們需要考慮以下幾種情況:

第一、 在邊緣伺服器上需要根據量來選擇T4或者P4等相應的伺服器,同時也要考慮伺服器的使用場景,比如火車站卡口、機場卡口或者公安卡口等;在中心端做Inference時可能需要V100的伺服器,需要考慮吞吐量以及使用場景、數量等。

第二、 需要考慮客戶本身使用人羣和IT運維能力,對於BAT這類大公司來說,他們自己的運營能力比較強,這時會選擇通用的PCI-e伺服器;而對於一些IT運維能力不那麼強的客戶,他們更關注數字以及數據標註等,我們稱這類人為數據科學家,選擇GPU伺服器的標準也會有所不同。

第三、 需要考慮配套軟體和服務的價值。

第四、 要考慮整體GPU集羣系統的成熟程度以及工程效率,選擇有非常成熟的從底端的操作系統驅動Docker到其他部分都是優化過的伺服器,這時效率就比較高。

綜上所述,選擇伺服器時不僅需要考慮業務需求,還要考慮性能指標,比如精度、顯存類型、顯存容量以及功耗等,同時也會有一些伺服器是需要水冷、降噪或者對溫度、移動性等等方面有特殊的要求,就需要特殊定製的伺服器。

寬泛科技旗下Cloudhin?雲軒支持Deep learning和高性能計算伺服器定製,針對主要深度學習框架(如TensorFlow、Caffe 2、Theano或Torch)進行了優化和設置,在桌面上即可提供強大的深度學習功能。

專業勤修,銳意進取。雲軒技術工程師畢業於NVIDIA深度學習研究所,豐富經驗,值得信賴。

歡迎瞭解更多:Kuanfans|寬泛科技 - 專註於計算機視覺和深度學習計算的信息化解決方案服務商


國內的話,還是比較推薦智星雲,我們最近沒法回實驗,所以就在智星雲租用的GPU伺服器,環境都是配置好的,而且種類可以選擇的也比較多。


GPU伺服器屬於異構計算伺服器,將並行計算負載放到協處理器(GPU)上來,歡迎聯繫思騰合力,作為英偉達精英級合作夥伴,在原廠技術資源、GPU技術上都有多年的積累。


國內的話,還是比較推薦智星雲,我們最近沒法回實驗,所以就在智星雲租用的GPU伺服器,環境都是配置好的,而且種類可以選擇的也比較多。


英偉達GPU顯卡最好,伺服器dell,華為都支持,就看你跑什麼業務了,人工智慧或者是大數據那就p40顯卡

根據你的業務需求來購買顯卡


r8420是Dell的嗎?


1.現在的GPU伺服器很多都是用臺灣方案+nv官方的卡+Intel的CPU+其它攢的,性能上差別不大,多問幾家,別被宰就好。如果是在北京的話,可以考慮一下容天,他們的服務還可以。

2.在計算能力相當的情況下,優先選一塊好的GPU,因為多塊次一點的GPU會帶來更大的主板供電壓力。

3.早期的cuda版本是會佔滿整個GPU的,現在沒有這種情況了,不過據說cuda程序裡面還是有辦法實現GPU獨佔,沒仔細研究過。


推薦閱讀:
相關文章