我们每个人都有过「联想记忆」（Associative Memory）的体验。当我们看到与某一事物有关的部分信息时（例如听到狗的叫声），我们马上就可能会联想到该事物的其它信息（狗的形态和动作等）或者是与该事物有关的其它事物。怎样用一个神经网路来描述这种联想记忆？1982 年， 生物物理学家 Hopfield 提出了一种全连接的神经网路结构，这种网路可以描述与联想记忆有关的许多现象。

Hopfield 所构造的这种神经网路与统计物理的 Ising 模型非常相似，模型中所有的相互作用都是二体相互作用，且具有二次型的形式。对一个 Hopfield 网路，可以引入一个「能量函数」的概念，这个概念来源于统计物理。如果一个结构的能量低，对应于这个结构出现的概率就高。

一旦设定一些动力学规则，那么系统可以朝著能量降低的方向演化，类似于上图中小球不断下落，最终陷进图中能量面的「山谷」处。随著能量的降低，系统达到了能量面上一些极小值点，这些极小值点对应于网路的「记忆」，它们储藏著一些信息（例如我们要训练网路学会手写数字 「6」 的像素组成），一旦网路训练好之后，当它遇到一些与这一信息相近或相似的其它输入（例如输入的手写数字），系统会落到到与之接近的一些极小值点上。这样，从一个坑附近最终落到坑的底部，就实现了「联想记忆」。这些能量面上的极小值点似乎在「吸引」著输入的信息，因此这种「记忆」被称为「吸引子」（attractor）。训练一个 Hopfield 神经网路，就是要把这些吸引子的信息编码到网路的结构中去。