高通發表獨立AI晶元，搶食推理加速器市場|半導體行業觀察
來源：本文由公眾號半導體行業觀察（ID：icbank）翻譯自「anandtech」，謝謝。
卷積神經網路和其他人工智慧技術在過去十年中對處理器領域產生了重要影響。人工智慧也成為了市場的流行語、催化劑和所有處理器製造商所追求的東西，所有的軟體供應商也都渴望投資在其上面開發新功能。
在十年前，這是一個完全沒有存在的市場，但在過去短短几年中，AI就成為研究和收入的中心，並且已經有一些處理器供應商已經在上面建立了一個小型帝國。
但可以看到，人工智慧仍處於早期階段，市場尚未找到上限; 數據中心也在繼續批量購買AI加速器，技術的部署也越來越多地在消費者處理器中出現。在這個許多人仍在爭奪的市場中，全球的處理器廠商正在試圖弄清楚它們如何才能成為主導力量。換句話說，人工智慧淘金熱正在全面展開，現在每個人都在排隊出售「鎬」。
人工智慧淘金熱引起了科技界各個角落的興趣，包括GPU、CPU、FPGA和定製ASIC等市場的玩家都對其趨之若慕。因為需要在邊緣進行推理、在雲端進行推理、在雲中進行訓練、在各個級別進行AI處理，這就要求有各種處理器提供不同服務。但在人工智慧的所有這些方面，最有利可圖的市場是這個層次結構的頂端市場——數據中心。由於運營商希望購買大量的分立處理器，因此數據中心市場是可擴展性和昂貴的，並且仍在實現跨越式發展。
而高通，現在正在成為這個市場的一個全新攪局者。
今天上午，在舊金山舉辦的第一屆「AI Day」上，移動世界的「800磅大猩猩」宣布他們正以激進的方式進入人工智慧加速器市場。在他們的活動中，高通公布了他們的第一款獨立AI處理器——Qualcomm Cloud AI 100系列。這是公司專為人工智慧市場設計，並以高通公司廣泛的軟體堆棧為後盾的產品，該公司正希望將自己打造成為「饑渴」的人工智慧推理加速器市場的主要供應商。
從今天公布看來，高通公司今天宣布的內容幾乎更像是一個預告片，而不是一個適當的揭示 ，更不是技術披露。根據規劃，Cloud AI 100系列加速器是高通公司計劃在2020年內推出的產品，但樣品將在今年晚些時候推出。簡而言之，現在仍然是好年景，因此高通公司宣布了他們的努力的成果及其背後的原因，而不是基礎技術。高通也同時也披露了他們在AI市場上，是如何與英偉達和Intel這樣的競爭對手差異化競爭的。
Qualcomm Cloud AI 100架構：專用推理ASIC
那麼高通究竟在做什麼呢？簡而言之，他們正在為數據中心市場開發一系列AI推理加速器。這雖然不是一個從上到下的計劃，但這些加速器將採用各種外形和TDP，以滿足數據中心運營商的不同需求。在這個市場中，高通公司希望憑藉在市場上提供最高效的推理加速器而獲勝。在他們看來，其ASIC性能是遠高於目前的GPU和FPGA領跑者。
關於Cloud AI 100系列的架構細節很少，但高通公司給予我們足夠的支持。首先，這些新部件將採用7納米工藝製造，可能是台積電以性能為導向的7納米HPC工藝。該公司也將提供各種卡，但目前尚不清楚他們是否設計了多個處理器。而且，我們被告知，這系列是一個從頭開始的全新設計，而不是Snapdragon 855 AI功能的放大。
雖然高通今天並沒有給出關於這個晶元的更多細節，但他們很清晰的表示，這是一個AI推理加速器，而不是AI訓練加速器，或者GPU等，這只是一款用來實現神經網路的「預訓練」的AI推理晶元。
這是有重要區別的，因為雖然魔鬼在細節中，但從高通公司的聲明中我們看到，他們非常強烈地指出這顆晶元的基礎架構是人工智慧推理ASIC ，類似谷歌的TPU系列，而不是更靈活的處理器。Qualcomm當然遠非第一家專門為AI處理而構建ASIC的廠商，但其他AI ASIC要麼專註於低端市場，要麼留作內部使用（谷歌的TPU再次成為主要的例子），高通公司正在談論將AI加速器出售給客戶以供數據中心使用。而且，相對於競爭對手而言，他們所談論的內容更像ASIC，而不是類似GPU的設計，每個人都希望2020年在NVIDIA領先和英特爾積極的AI晶元市場中脫穎而出。
Qualcomm的Cloud AI 100處理器設計如此狹隘地專註於AI推理，因此其性能潛力就變得至關重要。在處理器設計範圍內，架構師可以靈活平衡效率; 晶元越接近固定功能ASIC，它就越有效。正如GPU如何在CPU頭上實現AI性能的巨大飛躍一樣，高通希望在GPU頭上做同樣的事情。
當然，問題在於更具固定功能的AI ASIC正在放棄靈活性。無論是處理新框架，新處理流程還是全新神經網路模型的能力都還有待觀察。但高通公司將在這裡進行一些重要的權衡，最重要的問題是這些是否是正確的權衡，以及整個市場是否已為數據中心規模的AI ASIC市場做好了充分準備。
同時，高通公司必須解決的另一個技術問題是Cloud AI 100系列是他們第一個專用的AI處理器。不可否認，每個人都必須從某個地方開始，而在Qualcomm的情況下，他們希望將他們在SoC邊緣AI的專業知識為數據中心人工智慧所用。該公司的旗艦Snapdragon SoC已經成為一股不可忽視的力量，高通公司認為他們在高效設計和信號處理方面的經驗將使公司在這方面佔據重要地位。
考慮到公司的實力和規模，他們都能夠迅速提高產量，但這並沒有能幫助他們對抗如NVIDIA和英特爾這個競爭對手，因為這兩者可以在台積電或者其內部晶圓廠輕易獲得產能，但這讓高通公司在與無數追逐人工智慧ASIC市場的小型矽谷初創公司的競爭中擁有明顯優勢。
為什麼要追逐數據中心推理市場？
撇開技術因素不談，高通今日發布的另一個重要因素是，它為何要進軍AI推理加速器市場。簡而言之，答案就是錢。
對AI推理市場最終規模的預測存在很大差異，但高通相信，到2025年，單是數據中心推理加速器的市場規模就可能達到170億美元。果真如此的話，那麼這將是一個相當大的市場，否則高通將錯過這個市場。這個市場將與他們目前晶元製造業務的全部業務相媲美。
同樣值得注意的是，這是一個明確的推理市場，而不是整個數據中心推理+訓練市場。這是一個重要的區別，因為雖然訓練也很重要，但訓練的計算需求與推理有很大的不同。雖然可以使用相對較低精度的數據類型（如INT8，有時甚至更低）進行準確的訓練，但目前大多數訓練需要FP16或更高。這需要一種非常不同類型的晶元，尤其是當我們談論ASIC，而不是像GPU這樣的更通用的東西。
這也傾向於規模：雖然訓練一個神經網路需要很多資源，但它只需要做一次。然後，它可以被多次複製到推理加速器的領域。因此，與訓練一樣重要的是，潛在客戶只需要比能夠訓練的處理器更多的推理加速器。
與此同時，儘管高通沒有明確表示，但很明顯，高通正尋求拿下市場領導者英偉達，英偉達甚至在早期就已經用AI處理器建立了一個小帝國。目前，英偉達的Tesla T4、P4和P40加速器構成了數據中心AI推理處理器的骨幹，事實證明，數據中心的整體收入對英偉達而言是相當有利可圖的。因此，即使整個數據中心市場沒有像預期的那樣增長，它仍然相當有利可圖。
高通還必須牢記來自英特爾的威脅，英特爾已經非常公開地表示了自己在AI市場的計劃。英特爾有幾個不同的AI計劃，從低功耗的Movidius加速器到他們最新的Cascade Lake Xeon Scalable CPU。然而，對於高通正在追逐的特定市場，最大的威脅可能是英特爾即將推出的Xe GPU，這是英特爾最近重建的GPU部門的產品。與高通一樣，英特爾也在覬覦英偉達，因此在AI推理市場正在展開一場競爭，所有巨頭都不希望輸掉這場競爭。
衝過終點線
撇開高通的雄心不談，在未來12個月左右，高通的重點將是爭取首批客戶。要做到這一點，該公司必須表明，它對Cloud AI 100系列所做的事情是認真的，它可以在硬體上實現，而且可以與競爭對手的軟體生態系統的易用性相媲美。所有這些都不容易，這就是為什麼高通需要現在就開始，遠遠早於商業出貨量開始的原因。
儘管高通多年來一直夢想著伺服器和數據中心市場，但用「野心過大」來形容這些工作或許是最禮貌的說法。這方面的一個例子是高通基於ARM的Centriq系列伺服器CPU。該公司在2017年大張旗鼓地推出了Centriq系列伺服器CPU，結果整個項目在一年內夭折。撇開Centriq的優點不談，高通仍是一家基本上只專註於晶元製造方面的移動處理器和數據機的公司。因此，為了讓數據中心運營商投資Cloud AI系列，高通不僅需要為第一代制定一個偉大的計劃，還需要為之後的幾代制定一個計劃。
這裡的結果是，在推理加速器這個年輕且不斷增長的市場中，數據中心運營商更願意嘗試新的處理器，而不是CPU。因此，沒有理由相信Cloud AI 100系列不能至少在一開始就獲得一定的成功。但這將取決於高通能否說服仍然謹慎的數據中心運營商，高通的產品是值得投資如此多的資源。
與此對應的是軟體方面。迄今為止，英偉達的成功在很大程度上得益於其AI軟體生態系統——這本身就是其已有10年歷史的CUDA生態系統的擴展——這讓GPU競爭對手AMD苦惱了一段時間。對高通來說，好消息是最流行的框架、runtimes和工具已經建立；TensorFlow、Caffe2和ONNX是最大的目標，高通知道這一點。這就是為什麼高通承諾將立即推出一個廣泛的軟體堆棧，因為只有這樣才行。但高通必須快速跟上進度，因為他們的軟體堆棧實際工作的好壞可能決定整個項目的成敗。高通需要提供良好的硬體和軟體才能在此取得成功。
但至少就目前而言，高通今天的發布是一次預告片。高通制定了一項雄心勃勃的計劃，要打入不斷增長的AI推理加速器市場，並提供一種與公開市場上任何其他產品都不同的處理器。雖然從這裡到那裡將會是一個挑戰，但是作為處理器世界的巨頭之一，高通在資金和工程資源方面都是最有能力的。因此，高通對推理加速器市場的渴望程度，與高通為其開發處理器的能力同樣重要，以及他們在多大程度上可以避免之前的伺服器處理器計劃所犯的錯誤。
然而，最重要的是，高通不會輕鬆佔領推理加速器市場：他們將不得不為之奮鬥。這是英偉達將要失去的市場，英特爾也在關注著它，更不用說那些GPU廠商、FPGA廠商和其他ASIC廠商了。對於一個新興技術來說，這還是一個年輕的市場，所有這些都可能會迅速起起落落。因此，儘管距離2020年還有近一年的時間，但它正迅速成為AI加速器市場的第一場大戰。
推薦閱讀：