ANN參數設定

• Depth of Artificial Neural Networks
  • Answer
  • 沒有hidden layer的網路會形成線性的決策函數，因此只能處理線性可分的問題。
  • 如果要處理非線性的問題(如XOR問題)，則至少須一層hidden layer.

• 如果是one hidden layer的網路，則hidden units的個數應為2倍的輸入或輸出的資料筆數。

  • 太多的hidden units會overfitting，但是太少的units會underfitting.

• 因為output的值，是由hidden units的輸出值乘以權重後求得，因此是否可以視為加權多數決的特例?

• NN使用backpropagation做為參數調校的方式，其中可調校的部份為始初權重，cost function與regularization methods.

  • cost function: cross entropy
  • regularization methods: L1 and L2 regularization, dropout, and artificial expansion of the training data.
  • 發生錯誤時，越快修正越好；越慢修正只會使得錯誤擴大。