矩陣運算為線性概念，而激勵函數會將非線性的概念帶入神經網絡，增加複雜性，以提升神經網絡的多元應用

• 當模型出現 underfitting 情況，模型過於簡單，需加入更複雜之模型，此時利用激活函數，將非線性概念帶入神經網絡中，增加網絡的多元應用
• 在類神經網路中如果不使用激勵函數，那麼在類神經網路中皆是以上層輸入的線性組合作為這一層的輸出（也就是矩陣相乘），輸出和輸入依然脫離不了線性關係，做深度類神經網路便失去意義
• 使用 sigmoid 和 tanh 函數容易發生梯度消失問題，是類神經網絡加深時主要的訓練障礙。

Sigmoid

tanh

Relu

Bias：將激勵函數左右橫移，if bias = 1