邊策 安妮 發自 凹非寺量子位 出品 | 公眾號 QbitAI
邊策 安妮 發自 凹非寺
搞AI,誰又沒有「GPU之惑」?
張量核心、顯存帶寬、16位能力……各種紛繁複雜的GPU參數讓人眼花繚亂,到底怎麼選?
從不到1000元1050 Ti到近30000元的Titan V,GPU價格的跨度這麼大,該從何價位下手?誰才是性價比之王?
讓GPU執行不同的任務,最佳選擇也隨之變化,用於計算機視覺和做NLP就不太一樣。
而且,用雲端TPU、GPU行不行?和本地GPU在處理任務時應該如何分配,才能更省錢?
最合適的AI加速裝備,究竟什麼樣?
現在,為了幫你找到最適合的裝備,華盛頓大學的博士生Tim Dettmers將對比凝練成實用攻略,最新的模型和硬體也考慮在內。
到底誰能在眾多GPU中脫穎而出?測評後馬上揭曉。
文末還附有一份特別精簡的GPU選購建議,歡迎對號入座。
最重要的參數
針對不同深度學習架構,GPU參數的選擇優先順序是不一樣的,總體來說分兩條路線:
卷積網路和Transformer:張量核心>FLOPs(每秒浮點運算次數)>顯存帶寬>16位浮點計算能力
循環神經網路:顯存帶寬>16位浮點計算能力>張量核心>FLOPs
這個排序背後有一套邏輯,下面將詳細解釋一下。
在說清楚哪個GPU參數對速度尤為重要之前,先看看兩個最重要的張量運算:矩陣乘法和卷積。
舉個栗子,以運算矩陣乘法A×B=C為例,將A、B複製到顯存上比直接計算A×B更耗費資源。也就是說,如果你想用LSTM等處理大量小型矩陣乘法的循環神經網路,顯存帶寬是GPU最重要的屬性。
矩陣乘法越小,內存帶寬就越重要。
相反,卷積運算受計算速度的約束比較大。因此,要衡量GPU運行ResNets等卷積架構的性能,最佳指標就是FLOPs。張量核心可以明顯增加FLOPs。
Transformer中用到的大型矩陣乘法介於卷積運算和RNN的小型矩陣乘法之間,16位存儲、張量核心和TFLOPs都對大型矩陣乘法有好處,但它仍需要較大的顯存帶寬。
需要特別注意,如果想藉助張量核心的優勢,一定要用16位的數據和權重,避免使用RTX顯卡進行32位運算!
下面Tim總結了一張GPU和TPU的標準性能數據,值越高代表性能越好。RTX系列假定用了16位計算,Word RNN數值是指長度<100的段序列的biLSTM性能。
這項基準測試是用PyTorch 1.0.1和CUDA 10完成的。
△ GPU和TPU的性能數據
性價比分析
性價比可能是選擇一張GPU最重要的考慮指標。在攻略中,小哥進行了如下運算測試各顯卡的性能:
最後,可以得出CNN、RNN和Transformer的歸一化性能/成本比值,如下所示:
△ CNN、RNN和Transformer的每美元性能
在上面這張圖中,數字越大代表每一美元能買到的性能越強。可以看出, RTX 2060比RTX 2070,RTX 2080或RTX 2080 Ti更具成本效益,甚至是Tesla V100性價比的5倍以上。
所以此輪的性價比之王已經確定,是RTX 2060無疑了。
不過,這種考量方式更偏向於小型GPU,且因為遊戲玩家不喜歡RTX系列顯卡,導致GTX 10xx系列的顯卡售價虛高。此外,還存在一定的單GPU偏差,一台有4個RTX 2080 Ti的計算機比兩台帶8個RTX 2060的計算機性價比更高。
所需顯存與16位訓練
GPU的顯存對某些應用至關重要,比如常見的計算機視覺、機器翻譯和一部分NLP應用。可能你認為RTX 2070具有成本效益,但需要注意其顯存很小,只有8 GB。
不過,也有一些補救辦法。
通過16位訓練,你可以擁有幾乎16位的顯存,相當於將顯存翻了一倍,這個方法對RTX 2080和RTX 2080 Ti同樣適用。
也就是說,16位計算可以節省50%的內存,16位 8GB顯存大小與12GB 32位顯存大小相當。
雲端or本地?TPU or GPU?
搞清楚了參數,還有更眼花繚亂的選項擺在面前:
谷歌雲、亞馬遜AWS、微軟的雲計算平台都能搞機器學習,是不是可以不用自己買GPU?
英偉達、AMD、英特爾、各種創業公司……AI加速晶元也有不少品牌可選。
面對整個行業的圍攻,Tim分析了各家平台的優缺點。
英偉達
英偉達無疑是深度學習硬體領域的領導者,大多數深度學習庫都對英偉達GPU提供最佳支持。而AMD的OpenCL沒有這樣強大的標準庫。
軟體是英偉達GPU非常強大的一部分。在過去的幾個月里,NVIDIA還在為軟體注入更多資源。例如,Apex庫對PyTorch中的16位梯度提供支持,還包括像FusedAdam這樣的融合快速優化器。
但是英偉達現在有一項非常坑爹的政策,如果在數據中心使用CUDA,那麼只允許使用Tesla GPU而不能用GTX或RTX GPU。
由於擔心法律問題,研究機構和大學經常被迫購買低性價比的Tesla GPU。然而,Tesla與GTX和RTX相比並沒有真正的優勢,價格卻高出10倍。
AMD:
AMD GPU性能強大但是軟體太弱。雖然有ROCm可以讓CUDA轉換成可移植的C++代碼,但是問題在於,移植TensorFlow和PyTorch代碼庫很難,這大大限制了AMD GPU的應用。
TensorFlow和PyTorch對AMD GPU有一定的支持,所有主要的網路都可以在AMD GPU上運行,但如果想開發新的網路,可能有些細節會不支持。
對於那些只希望GPU能夠順利運行的普通用戶,Tim並不推薦AMD。但是支持AMD GPU和ROCm開發人員,會有助於打擊英偉達的壟斷地位,將使每個人長期受益。
英特爾:
Tim曾經嘗試過至強融核(Xeon Phi)處理器,但體驗讓人失望。英特爾目前還不是英偉達或AMD GPU真正的競爭對手。
至強融核對深度學習的支持比較差,不支持一些GPU的設計特性,編寫優化代碼困難,不完全支持C++ 11的特性,與NumPy和SciPy的兼容性差。
英特爾曾計劃在今年下半年推出神經網路處理器(NNP),希望與GPU和TPU競爭,但是該項目已經跳票。
谷歌:
谷歌TPU已經發展成為一種非常成熟的雲端產品。你可以這樣簡單理解TPU:把它看做打包在一起的多個專用GPU,它只有一個目的——進行快速矩陣乘法。
如果看一下具有張量核心的V100 GPU與TPUv2的性能指標,可以發現兩個系統的性能幾乎相同。
TPU本身支持TensorFlow,對PyTorch的支持也在試驗中。
TPU在訓練大型Transformer GPT-2上取得了巨大的成功,BERT和機器翻譯模型也可以在TPU上高效地進行訓練,速度相比GPU大約快56%。
但是TPU也並非沒有問題,有些文獻指出在TPUv2上使用LSTM沒有收斂。
TPU長時間使用時還面臨著累積成本的問題。TPU具有高性能,最適合在訓練階段使用。在原型設計和推理階段,應該依靠GPU來降低成本。
總而言之,目前TPU最適合用於訓練CNN或大型Transformer,並且應該補充其他計算資源而不是主要的深度學習資源。
亞馬遜和微軟雲GPU:
亞馬遜AWS和Microsoft Azure的雲GPU非常有吸引力,人們可以根據需要輕鬆地擴大和縮小使用規模,對於論文截稿或大型項目結束前趕出結果非常有用。
然而,與TPU類似,雲GPU的成本會隨著時間快速增長。目前,雲GPU過於昂貴,且無法單獨使用,Tim建議在雲GPU上進行最後的訓練之前,先使用一些廉價GPU進行原型開發。
初創公司的AI硬體:
有一系列初創公司在生產下一代深度學習硬體。但問題在於,這些硬體需要開發一個完整的軟體套件才能具有競爭力。英偉達和AMD的對比就是鮮明的例子。
小結:
總的來說,本地運算首選英偉達GPU,它在深度學習上的支持度比AMD好很多;雲計算首選谷歌TPU,它的性價比超過亞馬遜AWS和微軟Azure。
訓練階段使用TPU,原型設計和推理階段使用本地GPU,可以幫你節約成本。如果對項目deadline或者靈活性有要求,請選擇成本更高的雲GPU。
最終建議
總之,在GPU的選擇上有三個原則:
1、使用GTX 1070或更好的GPU;
2、購買帶有張量核心的RTX GPU;
3、在GPU上進行原型設計,然後在TPU或雲GPU上訓練模型。
針對不同研究目的、不同預算,Tim給出了如下的建議:
最佳GPU:RTX 2070
避免的坑:所有Tesla、Quadro、創始人版(Founders Edition)的顯卡,還有Titan RTX、Titan V、Titan XP
高性價比:RTX 2070(高端),RTX 2060或GTX 1060 (6GB)(中低端)
窮人之選:GTX 1060 (6GB)
破產之選:GTX 1050 Ti(4GB),或者CPU(原型)+ AWS / TPU(訓練),或者Colab
Kaggle競賽:RTX 2070
計算機視覺或機器翻譯研究人員:採用鼓風設計的GTX 2080 Ti,如果訓練非常大的網路,請選擇RTX Titans
NLP研究人員:RTX 2080 Ti
已經開始研究深度學習:RTX 2070起步,以後按需添置更多RTX 2070
嘗試入門深度學習:GTX 1050 Ti(2GB或4GB顯存)
傳送門
— 完 —
量子位 · QbitAI
?? ? 追蹤AI技術和產品新動態
戳右上角「+關注」獲取最新資訊↗↗
如果喜歡,請分享or點贊吧~比心?