Hopfield neural network

• Hopfiled神經網絡是一種遞歸神經網絡，由John Hopfield在1982年發明。Hopfield網絡是一種結合存儲系統和二元系統的神經網絡。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。

  • Hopfield network，其丟棄了「層次」的概念，創造出無層次的全互連型NN。
  • Hopfield network採用了與層次型神經網路完全不同的結構特性和學習方法，其引入了「能量函數」（energy function）的概念，闡明了神經網路與熱力學之間的關系。
  • Hopfield根據網路的輸入和輸出的不同，有兩種形式：discrete and continuous.

• 有關記憶的三個重要歷程為：

  • 登錄 (registration)：從各種外界的刺激中挑選出感興趣的訊息。
  • 保留 (retention)：將所注意到的訊息，從短程記憶的強記，轉化成久儲存的長程記憶。
  • 提取 (retrieve)：如何從大腦中提取所儲存的資訊，主要是靠所謂的 “聯想 (associations)” 。

• 從 1950 年代開始，就有許許多多的學者專家，投注大量心血，希望能用類神經網路的模式來模擬聯想記憶，實現的方式可分為線性與非線性兩種 。

• Hopfield模型的建立是神經網路研究的重要裏程碑

  • 類神經網路計算機(用不完整的資訊來定址並獲取完整的資訊)
  • 這些想法在原則上不同於Von Neumann型的數位計算機(用位址值來定址並獲取完整的資訊)
  • 初期的Hopfield網路模型是一個二值模型，後來才發展為連續的模型
  • 介紹Hopfield網路模型之前必需先瞭解Hopfield 的所謂內容定址記憶體的觀念(content-addressable memory)