常用激活函数及Numpy实现-FlyAI

常用激活函数及Numpy实现

深度学习

最后更新 2020-07-13 11:47 阅读 10337

最后更新 2020-07-13 11:47

阅读 10337

深度学习

在设计网络模型时，针对不同的问题选择合适的激活函数，对模型的性能有很大的影响。以下总结了神经网络中的常用激活函数及纯Numpy实现。 如下图所示为激活函数图示。

1、Sigmoid函数

![](https://dataset.flyai.com/d9042af00a3b0d5d3e0a78294952bdb.png)
![](https://dataset.flyai.com/554ab60523105e29e6da80c0280b6a3.png)
![](https://dataset.flyai.com/1.bmp)
Sigmoid激活函数给神经网络引进了概率的概念。它的导数是非零的，并且很容易计算（是其初始输出的函数）。然而，在分类任务中，sigmoid 正逐渐被 Tanh 函数取代作为标准的激活函数，因为后者为奇函数（关于原点对称）

代码实现：
```python
 from abc import ABC,abstractmethod
 import numpy as np
    class ActivationBase(ABC):
		def __init__(self,**kwargs):
			super().__init__()

def __call__(self, z):
			if z.ndim==1:
				z=z.reshape(1,-1)
			return self.fn(z)

def fn(self,z):
			raise NotImplementedError

def grad(self,x,**kwargs):
			raise NotImplementedError
	
	
	class Sigmoid(ActivationBase):
		def __init__(self):
			super().__init__()

def __str__(self):
			return "sigmoid"

def fn(self,z):
			return 1/(1+np.exp(-z))

def grad(self,x):
			fn_x=self.fn(x)
			return fn_x*(1-fn_x)
		def grad2(self,x):
			fn_x=self.fn(x)
			return fn_x*(1-fn_x)*(1-2*fn_x)
```

2、ReLU函数
![](https://dataset.flyai.com/b10640fd7e5b0c21ab99eceba905cb4.png)
![](https://dataset.flyai.com/4.png)
修正线性单元（Rectified linear unit，ReLU）是神经网络中最常用的激活函数。它保留了 step 函数的生物学启发（只有输入超出阈值时神经元才激活），不过当输入为正的时候，导数不为零，从而允许基于梯度的学习（尽管在 x=0 的时候，导数是未定义的）。使用这个函数能使计算变得很快，因为无论是函数还是其导数都不包含复杂的数学运算。然而，当输入为负值的时候，ReLU 的学习速度可能会变得很慢，甚至使神经元直接无效，因为此时输入小于零而梯度为零，从而其权重无法得到更新，在剩下的训练过程中会一直保持静默。

class ReLU(ActivationBase):
		def __init__(self):
			super().__init__()

def __str__(self):
			return "ReLU"

def fn(self,z):
			return np.clip(z,0,np.inf)

def grad(self,x):
			return (x>0).astype(int)

def grad2(self,x):
			return np.zeros_like(x)

3、Leaky ReLU函数
![](https://dataset.flyai.com/e1863fb9766fabedf060c6fc6ecff82.png)
![](https://dataset.flyai.com/5.png)
ReLU 激活函数的变体，带泄露修正线性单元（Leaky ReLU）的输出对负值输入有很小的坡度。由于导数总是不为零，这能减少静默神经元的出现，允许基于梯度的学习。

class LeakReLU(ActivationBase):
		def __init__(self,alpha=0.3):
			self.alpha=alpha
			super().__init__()

def __str__(self):
			return "Leaky ReLU(alpha={})".format(self.alpha)

def fn(self,z):
			_z=z.copy()
			-z[z<0]=_z[z<0]*self.alpha
			return _z

def grad(self,x):
			out=np.ones_like(x)
			out[x<0]*=self.alpha
			return out

def grad2(self,x):
			return np.zeros_like(x)

4、Tanh函数
![](https://dataset.flyai.com/63775c0981cc967be4ca743e3d2de76.png)
![](https://dataset.flyai.com/3.png)
在分类任务中，双曲正切函数（Tanh）逐渐取代 Sigmoid 函数作为标准的激活函数，其具有很多神经网络所钟爱的特征。它是完全可微分的，反对称，对称中心在原点。为了解决学习缓慢和/或梯度消失问题、

class Tanh(ActivationBase):
		def __init__(self):
			super().__init__()

def __str__(self):
			return "Tanh"

def fn(self,z):
			return np.tanh(z)

def grad(self,x):
			return 1-np.tan(x)**2

def grad2(self,x):
			tanh_x=np.tanh(x)
			return -2*tanh_x*(1-tanh_x**2)

5、Identity函数
![](https://dataset.flyai.com/1e201e9b5e2f1f6644f5b5e07007260.png)
![](https://dataset.flyai.com/2.bmp)
通过激活函数 Identity，节点的输入等于输出。它完美适合于潜在行为是线性（与线性回归相似）的任务。当存在非线性，单独使用该激活函数是不够的，但它依然可以在最终输出节点上作为激活函数用于回归任务

class Affine(ActivationBase):
		def __init__(self,slope=1,intercept=0):
			self.slope=slope
			self.intercept=intercept
			super().__init__()

def __str__(self):
			return "Affine(slope={},intercept={})".format(self.slope,self.intercept)

def fn(self,z):
			return self.slope*z+self.intercept

def grad(self,x):
			return self.slope*np.ones_like(x)

def grad(self,x):
			return np.zeros_like(x)

class Identity(Affine):
		def __init__(self):
			super().__init__(slope=1,intercept=0)

def __str__(self):
			return "Identity"

6、ELU函数
![](https://dataset.flyai.com/8635120ad972e0c1d98c0b476c9932a.png)
![](https://dataset.flyai.com/6.png)
指数线性单元（Exponential Linear Unit，ELU）也属于 ReLU 修正类激活函数的一员。和 PReLU 以及 RReLU 类似，为负值输入添加了一个非零输出。和其它修正类激活函数不同的是，它包括一个负指数项，从而防止静默神经元出现，导数收敛为零，从而提高学习效率

class ELU(ActivationBase):
		def __init__(self,alpha=1.0):
			self.alpha=alpha
			super().__init__()

def __str__(self):
			return "ELU(alpha={})".format(self.alpha)

def fn(self,z):
			return np.where(z>0,z,self.alpha*(np.exp(z)-1))

def grad(self,x):
			return np.where(x>0,np.ones_like(x),self.alpha*np.exp(x))

def grad2(self,x):
			return np.where(x>=0,np.zeros_like(x),self.alpha*np.exp(x))

7、Exponential函数
![](https://dataset.flyai.com/1a9f0dbc7c2c5f96cbceb5f4372825a.png)
![](https://dataset.flyai.com/7.jpg)

class Exponential(ActivationBase):
		def __init__(self):
			super().__init__()

def __str__(self):
			return "Exponential"

def fn(self,z):
			return np.exp(z)

def grad(self,x):
			return np.exp(x)

def grad2(self,x):
			return np.exp(x)

8、SELU函数
![](https://dataset.flyai.com/QQ图片20200710214100.png)
![](https://dataset.flyai.com/8.png)
扩展指数线性单元（Scaled Exponential Linear Unit，SELU）是激活函数指数线性单元（ELU）的一个变种。其中λ和α是固定数值（分别为 1.0507 和 1.6726）。这些值背后的推论（零均值/单位方差）构成了自归一化神经网络的基础（SNN）

class SELU(ActivationBase):
		def __init__(self):
			self.alpha = 1.6732632423543772848170429916717
			self.scale = 1.0507009873554804934193349852946
			self.elu = ELU(alpha=self.alpha)
			super().__init__()

def __str__(self):
			return "SELU"

def fn(self,z):
			return self.scale*self.elu.fn(z)

def grad(self,x):
			return np.where(x>0,np.ones_like(x)*self.scale,np.exp(x)*self.alpha*self.scale)

def grad2(self,x):
			return np.where(x>0,np.zeros_like(x),np.exp(x)*self.alpha*self.scale)

9、Hard Sigmoid函数
![](https://dataset.flyai.com/9.png)
Hard Sigmoid 是 Logistic Sigmoid 激活函数的分段线性近似。它更易计算，这使得学习计算的速度更快，尽管首次派生值为零可能导致静默神经元/过慢的学习速率

class HardSigmoid(ActivationBase):
		def __init__(self):
			super().__init__()

def __str__(self):
			return "Hard Sigmoid"

def fn(self,z):
			return np.clip((0.2*z)+0.5,0.0,1.0)

def grad(self,x):
			return np.where((x>=-2.5)&(x<=2.5),0.2,0)

def grad2(self,x):
			return np.zeros_like(x)

10、SoftPlus函数
![](https://dataset.flyai.com/QQ图片20200710214108.png)
![](https://dataset.flyai.com/10.png)
作为 ReLU 的一个不错的替代选择，SoftPlus 能够返回任何大于 0 的值。与 ReLU 不同，SoftPlus 的导数是连续的、非零的，无处不在，从而防止出现静默神经元。然而，SoftPlus 另一个不同于 ReLU 的地方在于其不对称性，不以零为中心，这兴许会妨碍学习。此外，由于导数常常小于 1，也可能出现梯度消失的问题

class SoftPlus(ActivationBase):
		def __init__(self):
			super().__init__()

def __str__(self):
			return "SoftPlus"

def fn(self,z):
			return np.log(np.exp(z)+1)

def grad(self,x):
			exp_x=np.exp(x)
			return exp_x/(exp_x+1)

def grad2(self,x):
			exp_x=np.exp(x)
			return exp_x/((exp_x+1)**2)

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/603

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除