來源：本文由 公眾號 半導體行業觀察（ID：icbank）翻譯自「eenews」，作者Avi Baum，謝謝。

近年來，我們目睹了「深度學習」的興起，這一領域試圖實現類似於人類行為的推理和智能水平。

人工神經網路（ANN）精鍊出的數學公式是相對於能夠有效運行這些網路的物理設備的開發而開發的。人們經常拿計算機和人類大腦進行比較，它們的底層結構截然不同。神經網路的一個明顯特性是它們的蜂窩狀特性。因此，基本的「cell」結構是探索的方面之一，一個顯而易見的原因是它多次重複。因此，效率的重要性。將是本文討論的重點。

ANN理論指引

人工神經網路的基礎是一大堆稱為神經元的元素，通常以緊密相連的束排列。簡而言之，神經元是一種特徵在於具有多個輸入和單個輸出的單元。單元的輸出是輸入的直接函數，每個輸入在對輸出的總體貢獻中得到不同的「關注」，這種「關注」水平通常被稱為權重。此外，輸出可能帶有一些閾值效應，只有當神經元超過閾值（也稱為「已觸發」）時才會產生響應。連接到「射擊」（firing）神經元的線下神經元的相關輸入將被「激發」，並且該過程將在整個網路中傳輸以達到最終輸出。

在定義等效模型時，最常見的方法是加權求和，並將非線性應用於輸出。這種方法在以簡單而有意義的方式捕捉概念的本質方面非常有用。然而，在嘗試捕獲生物行為的更精細方面時，要尋求更複雜的模型。這些反映了可能導致更完整的神經元描述的其他屬性，並且出於實際原因，可以提供克服基本表示法固有的一些性能障礙的實現替代方案。

模擬神經元行為的選項涉及時域，頻域和幅域表示。這些選項可以用閉合的數學形式很容易地表達，如下所述。

直接的離散模型，將神經元表示為輸入的加權和（圖2a）; 脈衝序列，其中脈衝序列代表活動，它們的時間速率決定激發水平 - 這是表示人體中神經細胞活動的最接近表示的圖形（圖2b）和連續表示。

模擬和數字實現

用於神經元實現的各種方法需要解決兩個基本問題：（i）處理 - 負責計算輸入和權重輸出的部分；（ii）數據傳輸 - 負責數據傳輸和存儲的部分。

雖然採用數字電路實現在現代大規模IC設計中更為常見，但最近的方法越來越多地通過模擬電路實現。神經元的數字實現基於乘法和累加電路。每個操作都涉及讀取輸入和權重，併產生中間結果。該過程重複多次。在求和結束之後，需要將非線性應用於結果值，並且將結果呈現為神經元輸出。每N個循環可獲得一次結果。此後應存儲該結果。

模擬電路則利用信號的連續性來表示某些物理電平的總和（例如，電壓電位的總和，或電流的總和），並獲得免除有限世界長度表示問題的連續信號。

模擬電路的另一種變型是基於脈衝的電路，其利用恆定幅度的脈衝序列的概念。在這種情況下，激勵水平取決於速率。這個概念大部分類似於腦神經元活動。

在模擬情況下，數據存儲是一項非常重要的挑戰。它可以通過轉換到數字域來解決，這意味著需要進行某種模數轉換，同時在獲取數據時進行數據和數模轉換。或者，輸出可以直接饋送到下一級，從而避免任何存儲操作。如果設計能夠支持所需的帶寬，則後一種方法是高效的。如果需要，可以應用一些電容以允許帶寬控制。（注意：圖3、4和5顯示了實現每個前面提到的方法的一個選項，並沒有包含所有實現細節）

性能

在研究各種方法的性能時，很明顯，雖然數字化方案已經得到了很好的建立，但它受到CMOS技術障礙的限制，如~0.4V的晶體管級閾值電壓，低於3GHz的標準單元、與工藝相關的最大時鐘頻率和占空比限制。對於單個8位乘加運算，這將導致處理節點的下界約為~100fJ。

相反，模擬電路在理論上受熱雜訊的約束，熱雜訊大約為0.01fJ。這比數字電路低四個數量級。因此，有理由基於模擬計算結構構建電路。然而，實際部署受到各種問題的挑戰，例如將數據傳遞到所描述的大量計算單元，與其連接相關的寄生效應，有效存儲輸出以及最終轉化為大規模設計流程和批量生產技術的能力。在實踐中，有報告表明，計算單元的可實現能量為1~10fJ。在這些實現中，實際上計算單元能量變得可以忽略不計，然而，總能量主要由周圍電路和存儲單元支配。

總而言之，在基於數字電路構建的功能塊之上的X10~X100的實際效率在小規模下是可以實現的，但是一旦單元規模擴大，其效率就會迅速下滑。

圖6是不同方法的定性描述。模擬電路的效率損失主要是由於實現損耗（即，檢測器電路具有一些內部雜訊，其降低了信噪比並且需要更好的裕度）。在這種情況下，脈衝方法具有較低的檢測閾值。放大模擬解決方案時，會觀察到雜訊耦合。這種效應隨著解決方案規模的增長而增長（在連續方法中更為顯著）。數字方法受這種耦合效應的影響較小。實際上，從模擬到數字的能量差距歸因於更高的電壓電平和工作頻率，這在模擬情況下要高得多。

實際上，大規模電路設計在過去幾十年中已經成熟，且獲得的行業經驗不容易被忽視。因此，可擴展性和產品化在很大程度上限制了使基於模擬的解決方案成為解決一般問題的主要方法的能力。此外，在系統層面，不能忽視次要貢獻者。一旦計算單元貢獻降低到合理水平，進一步改進就變得不那麼重要了。

系統層面

到目前為止，這個討論一直致力於構建功能塊級別。但是，忽略系統的其餘部分是不完整的。系統級分析應該考慮所有貢獻者，並考慮到在某個時刻基本處理的改進因素可以忽略不計的事實。能量分布就是這種情況。

迄今為止，在運行機器學習任務時，最先進的解決方案正在努力達到0.1~1TOPS / W. 這相當於每次操作1~10pJ。如前所述，由於0.1pJ的神經元平台的數字實現，然後90％~99％的能量仍然存在於包括存儲單元、控制結構和匯流排架構的其他領域中。因此，利用潛力進行架構改造至關重要。僅通過轉換到模擬方案回收的能量上限為所消耗的總能量的10%。

對照

下表列出了各種方法的一些關鍵屬性，並總結了上面提到的大多數項目。

結語

總而言之，顯而易見的是，機器學習的活躍特性將帶來新的和有趣的技術，這些技術將逐步成熟並滿足各種市場需求。

模擬解決方案在神經網路計算引擎領域展現出了巨大的發展潛力。一旦成熟，它很可能成為各種神經計算解決方案中的補充元素，並可能解決一些具有挑戰性的案例。儘管如此，由於其有限的可擴展性，技術節點敏感度，以及它提供的解決方案與相對有限的應用程序子集相關，而數字解決方案可提供有效的解決方案，因此，目前還很難預見基於模擬電路的解決方案何時能在該領域實現靈活的替代，並佔據主導地位。

原文鏈接：http://www.eenewsanalog.com/news/analog-and-digital-circuits-machine-learning

推薦閱讀：

相关文章