我們每個人都有過「聯想記憶」（Associative Memory）的體驗。當我們看到與某一事物有關的部分信息時（例如聽到狗的叫聲），我們馬上就可能會聯想到該事物的其它信息（狗的形態和動作等）或者是與該事物有關的其它事物。怎樣用一個神經網路來描述這種聯想記憶？1982 年， 生物物理學家 Hopfield 提出了一種全連接的神經網路結構，這種網路可以描述與聯想記憶有關的許多現象。

Hopfield 所構造的這種神經網路與統計物理的 Ising 模型非常相似，模型中所有的相互作用都是二體相互作用，且具有二次型的形式。對一個 Hopfield 網路，可以引入一個「能量函數」的概念，這個概念來源於統計物理。如果一個結構的能量低，對應於這個結構出現的概率就高。

一旦設定一些動力學規則，那麼系統可以朝著能量降低的方向演化，類似於上圖中小球不斷下落，最終陷進圖中能量面的「山谷」處。隨著能量的降低，系統達到了能量面上一些極小值點，這些極小值點對應於網路的「記憶」，它們儲藏著一些信息（例如我們要訓練網路學會手寫數字 「6」 的像素組成），一旦網路訓練好之後，當它遇到一些與這一信息相近或相似的其它輸入（例如輸入的手寫數字），系統會落到到與之接近的一些極小值點上。這樣，從一個坑附近最終落到坑的底部，就實現了「聯想記憶」。這些能量面上的極小值點似乎在「吸引」著輸入的信息，因此這種「記憶」被稱為「吸引子」（attractor）。訓練一個 Hopfield 神經網路，就是要把這些吸引子的信息編碼到網路的結構中去。