從AI Chip到AI Chiplet
最近，chiplet這個概念熱了起來，從DARPA的CHIPS項目到Intel的Foveros，都把chiplet看成是未來晶元的重要基礎技術。簡單來說，chiplet技術就是像搭積木一樣，把一些預先生產好的實現特定功能的晶元裸片（die）通過先進的集成技術（比如3D integration）集成封裝在一起形成一個系統晶元。而這些基本的裸片就是chiplet。從這個意義上來說，chiplet就是一個新的IP重用模式。未來，以chiplet模式集成的晶元會是一個「超級」異構系統，可以為AI計算帶來更多的靈活性和新的機會。
chiplet模式簡介
chiplet的概念其實很簡單，就是矽片級別的重用。設計一個系統級晶元，以前的方法是從不同的IP供應商購買一些IP，軟核（代碼）或硬核（版圖），結合自研的模塊，集成為一個SoC，然後在某個晶元工藝節點上完成晶元設計和生產的完整流程。未來，對於某些IP，你可能不需要自己做設計和生產了，而只需要買別人實現好的矽片，然後在一個封裝裏集成起來，形成一個SiP（System in Package）。所以chiplet也是一種IP，但它是以矽片的形式提供的。
chiplet的概念最早來自DARPA的CHIPS（Common Heterogeneous Integration and IP Reuse Strategies）項目。該項目試圖解決的主要問題如下「The monolithic nature of state-of-the-art SoCs is not always acceptable for DoD or other low-volume applications due to factors such as high initial prototype costs and requirements for alternative material sets. To enhance overall system flexibility and reduce design time for next-generation products, the Common Heterogeneous Integration and Intellectual Property (IP) Reuse Strategies (CHIPS) program seeks to establish a new paradigm in IP reuse.」。而它的願景是：「The vision of CHIPS is an ecosystem of discrete modular, reusable IP blocks, which can be assembled into a system using existing and emerging integration technologies. Modularity and reusability of IP blocks will require electrical and physical interface standards to be widely adopted by the community supporting the CHIPS ecosystem. Therefore, the CHIPS program will develop the design tools and integration standards required to demonstrate modular integrated circuit (IC) designs that leverage the best of DoD and commercial designs and technologies.」 從這段描述來看chiplet可以說是一種新的晶元設計模式，要實現chiplet這種新的IP重用模式，首先要具備的技術基礎就是先進的晶元集成封裝技術。SiP的概念很早就有，把多個矽片封裝在一個矽片裏也有很久的歷史了。但要實現chiplet這種高靈活度，高性能，低成本的矽片重用願景，必須要先進的晶元集成技術，比如Intel最近提出的Foveros，3D集成技術。
3D集成技術使我們的晶元規模可以在三維空間發展，而不是傳統的限於二維空間。由於在二維空間裏，摩爾定律已經很難延續，向三維發展也是一個自然的趨勢。此外，正如下圖所說的，這種3D集成技術除了提供更高的計算密度之外，還可以讓我們重新考慮系統架構（enabling a complete rethinking of system），這個也就是chiplet模式給我們帶來的各種新的靈活性，後面再詳細討論。
這裡我們不詳細討論3D集成技術的細節，根據目前的發展，在未來幾年，相關技術會越來越成熟，應該能夠為chiplet模式的普及做好準備。
AI chiplet的優勢
總得來說，我個人認為chiplet模式對於AI硬體的長期發展會有非常正面的影響，主要體現在下面幾個方面。
第一，工藝選擇的靈活性
chiplet模式的最大優勢之一就是一個系統裏可以集成多個工藝節點的矽片（如下圖所示）。
這也是chiplet模式可能支持快速開發，降低實現成本的一個重要因素。大家知道，在晶元設計中，對於不同目的和類型的電路，並不是最新的工藝就總是最合適的。在目前的單矽片系統裏，系統只能在一個工藝節點上實現。而對於很多功能來說，使用成本高風險大的最新工藝即沒有必要又非常困難，比如一些專用加速功能和模擬設計。如果chiplet模式成立，那麼大家在做系統設計的時候則有了更多的選擇。對於追求性能極限的模塊，比如高性能CPU，可以使用最新工藝。而特殊的功能模塊，比如存儲器，模擬介面和一些專用加速器，則可以按照需求選擇性價比最高的方案。
這一點對於AI晶元的發展是相當有利的。首先，AI加速本身就是一個DSA（專用領域架構），其架構本身就是專門為特定運算定製的，具有很高的效率，即使選擇差一兩代的工藝，也可以滿足很多情況的要求。但目前，大多數這個領域的初創公司，都面臨工藝選擇的困境。如果選擇先進工藝，可能一次投片就耗盡所有投資。如果不選，好像一下就輸在了起跑線。如果chiplet模式成為主流，大家的工藝選擇應該可以更加理性，工藝雖不是最新但性價比最好的chiplet會有更多機會。第二，對於很多可能大幅提升AI運算效率的新興技術，比如存內計算，模擬計算（包括光計算），它們使用的器件往往只在相對較低的工藝節點比較成熟，和系統的其它部分怎麼集成就是個大問題。chiplet模式也可以解決這個問題，則這些技術的開發商可以以chiplet IP的形式提供產品，和其它不同工藝的功能模塊集成在一起，而無需受限於Foundry工藝的進展。
第二，架構設計的靈活性
以chiplet構成的系統可以說是一個「超級」異構系統，給傳統的異構SoC增加了新的維度，至少包括空間維度和工藝選擇的維度。首先，如前所述，先進的集成技術在3D空間的擴展可以極大提高晶元規模。這當然對AI算力的擴展和成本的降低有很大好處。第二，結合前述的工藝靈活性，我們可能在架構設計中有更合理的功能/工藝的權衡，有利於AI SoC或者AIoT晶元更好的適應應用場景的需求。第三，系統的架構設計，特別是功能模塊間的互聯，有更多優化的空間。在目前的AI晶元架構中，數據流動是主要瓶頸。HBM（也可以看成是一種chiplet）可以在一定程度上解決處理器和DRAM之間的數據流動問題，但價格還過於昂貴。對於雲端AI加速，Host CPU和AI加速晶元之間，以及多片加速晶元之間的互聯，目前主要通過PCIe，NvLink，或者直接用SerDes等等。如果是chiplet方式，則是矽片的互聯，帶寬，延時和功耗都會有巨大的改善。另外，目前的片上網路NoC是在一個矽片（2D）上的，而未來的NoC則擴展到矽片之間，特別是和Active Interposer結合，就可能成為一個3D網路，其路由，拓撲以及QoS可以有更多優化的空間。
第三，商業模式的靈活性
chiplet模式在傳統的IP供應商和晶元供應商之外，提供了一個新的選擇：chiplet矽片供應商。對於目前的AI晶元廠商來說，要麼聚焦在AI加速部分，以IP形式或者外接硬體加速晶元的形式提供產品；要麼走垂直領域，做集成AI加速功能的SoC。對於前者來說，chiplet可以提供一個新的產品形式，增加潛在的市場，或者拉長一代產品（工藝）的生命週期。對於一些硅實現能力比較強的廠商來說，也說不定未來會演變成專門做chiplet的供應商。對後者來說，可以直接集成合適AI chiplet而不是IP（還需要自己做晶元實現），大大節約項目開發的時間。
因此，可以預見，AI chiplet會成為AI硬體重用和集成的重要模式。
chiplet模式的挑戰
首先當然是集成技術的挑戰。chiplet模式的基礎還是先進的封裝技術，必須能夠做到低成本和高可靠性。這部分主要看foundry和封裝廠商。隨著先進工藝部署的速度減緩，封裝技術逐漸成為大家關注的重點。此外，集成技術的挑戰還來自集成標準。回到CHIPS項目，可以看出，該項目的重點就是是設計工具和集成標準。Intel的AIB（Advanced Interface Bus）就是一個矽片到矽片的互聯標準，如果未來能夠成為業界的標準（類似ARM的AMBA匯流排標準的作用），則chiplet的模式就可能更快的普及。還有，對於這種「超級」異構系統，其更大的優化空間也同時意味著架構優化的難度也會大大增加。
除了集成技術之外，chiplet模式能否成功的另一個大問題是質量保障。我們在選擇IP的時候，除了PPA之外，最重要的一個考量指標就是IP本身的質量問題。IP本身有沒有bug，接入系統會不會帶來問題，有沒有在真正的矽片上驗證過等等。在目前的IP重用方法中，對IP的測試和驗證已經有比較成熟的方法。但對於chiplet來說，這還是個需要探索的問題。雖然，相對傳統IP，chiplet是經過硅驗證的產品，本身保證了物理實現的正確性。但它仍然有良率的問題，而且如果SiP中的一個矽片有問題，則整個系統都受影響，代價很高。因此，集成到SiP中的chiplet必須保證100%無故障。從這個問題延伸，還有集成後的SiP如何進行測試的問題。將多個chiplet封裝在一起後，每個chiplet能夠連接到的晶元管腳更為有限，有些chiplet可能完全無法直接從晶元外部管腳直接訪問，這也給晶元測試帶來的新的挑戰。
最後補充一點，還是那句話，有挑戰就有機會。個人認為，除了前面討論的chiplet模式對普及AI硬體的推動，它還會促進EDA工具的發展。不論是集成技術，還是質量保障，很多chiplet模式的問題最終都需要EDA工具的改進來給出答案，需要EDA工具從架構探索，到晶元實現，甚至到物理設計的全面支持。這也是CHIPS項目的一個重點是設計工具的原因。
- END-
本文最早發表於我的微信公眾號
歡迎關注我的微信公眾號:
StarryHeavensAbove AI晶元文章導讀
題圖來自網路，版權歸原作者所有
本文為個人興趣之作，僅代表本人觀點，與就職單位無關
推薦閱讀：
