激活函数-FlyAI

激活函数

深度学习

最后更新 2021-03-01 18:21 阅读 4148

最后更新 2021-03-01 18:21

阅读 4148

深度学习

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802191015345.png)

# 激活函数的性质

- **非线性**：为模型引入非线性因素

- **几乎处处可微**：有限的不可微点有左右导数（左右导数可能不同，如Relu）。 便于反向传播，利于优化

- **计算简单**：激活函数在神经网络前向的计算次数与神经元的个数成正比，因此简单的非线性函数自然更适合用作激活函数。这也是ReLU之流比其它使用Exp等操作的激活函数更受欢迎的其中一个原因。

- **非饱和性**：饱和指的是在某些区间梯度接近于零（即梯度消失），使得参数无法继续更新的问题。

- **单调性**：当激活函数是单调的时候，单层网络能够保证是凸函数；

- $ f(x)≈x $： 当激活函数满足这个性质的时候，如果参数的初始化是随机的较小值，那么神经网络的训练将会很高效；如果不满足这个性质，那么就需要详细地去设置初始值。

由于这个条件与非线性有点矛盾，因此激活函数基本只是部分满足这个条件，如 relu 只再 x>0 时为线性。

- **输出值的范围有限** ：当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定，因为特征的表示受有限权值的影响更显著；但这导致了前面提到的梯度消失问题，而且强行让每一层的输出限制到固定范围会限制其表达能力。

当激活函数的输出是无限的时候，模型的训练会更加高效，不过在这种情况小，一般需要更小的 Learning Rate。

- **参数少**： 大部分激活函数都是没有参数的。

- **归一化** ：主要思想是使样本分布自动归一化到零均值、单位方差的分布，从而稳定训练。

# 激活函数

## Step

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802191106564.png)

## Identity

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192225991.png)

## Bent Identity

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192422411.png)

## ReLU

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192448922.png)

优点：

- 解决了gradient vanishing问题 (在正区间)
- 计算速度非常快，只需要判断输入是否大于0
- 收敛速度远快于sigmoid和tanh

存在的问题：

1. ReLU的输出不是zero-centered
2. Dead ReLU Problem，指的是某些神经元可能永远不会被激活，导致相应的参数永远不能被更新。有两个主要原因可能导致这种情况产生: 
	1. 非常不幸的参数初始化，这种情况比较少见 
	2. learning rate太高导致在训练过程中参数更新太大，不幸使网络进入这种状态。解决方法是可以采用Xavier初始化方法，以及避免将learning rate设置太大或使用adagrad等自动调节learning rate的算法。

### 代码

```python
def relu(x):
    '''
    定义relu函数
    '''
    return np.where(x<0,0,x)

def reluDerivative(x):
    '''
    定义relu的导函数
    '''
    return np.where(x<0,0,1)
```

## Leaky ReLU

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192509160.png)

人们为了解决Dead ReLU Problem，提出了将ReLU的前半段设为$0.01x$而非0。另外一种直观的想法是基于参数的方法，即Parametric ReLU:$f(x)=max(\alpha x,x)$，其中$\alpha$可由back propagation学出来。理论上来讲，Leaky ReLU有ReLU的所有优点，外加不会有Dead ReLU问题，但是在实际操作当中，并没有完全证明Leaky ReLU总是好于ReLU。

#### 代码

```python
def leakyrelu(x,a=0.01):
    '''
    定义leakyrelu函数
    leakyrelu激活函数是relu的衍变版本，主要就是为了解决relu输出为0的问题
    '''
    return np.where(x<0,a*x,x)
 
 
def leakyreluDerivative(x,a=0.01):
    '''
    定义leakyrelu导函数
    '''
    return np.where(x<0,a,1)

```

## PReLU

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192542538.png)

## RReLU

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192616596.png)

## ELU

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192635291.png)

ELU也是为解决ReLU存在的问题而提出，显然，ELU有ReLU的基本所有优点，以及：

- 不会有Dead ReLU问题
- 输出的均值接近0，zero-centered

它的一个小问题在于计算量稍大。类似于Leaky ReLU，理论上虽然好于ReLU，但在实际使用中目前并没有好的证据ELU总是优于ReLU。

### 代码

```python
def elu(x,a=0.01):
    '''
    定义elu函数
    elu和relu的区别在负区间，relu输出为0，而elu输出会逐渐接近-α，更具鲁棒性。
    elu激活函数另一优点是它将输出值的均值控制为0（这一点确实和BN很像，BN将分布控制到均值为0，标准差为1）
    '''
    return np.where(x<0,a*(np.exp(x)-1),x)
 
 
def eluDerivative(x,a=0.01):
    '''
    定义elu导函数
    '''
    return np.where(x<0,a*np.exp(x),1)
```

## SELU

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192849873.png)

### 代码

```python
def selu(x):
    '''
    定义selu函数
    '''
    alpha=1.6732632423543772848170429916717
    scale=1.0507009873554804934193349852946
    return np.where(x<0,scale*alpha*(np.exp(x)-1),scale*x)
 
 
def seluDerivative(x):
    '''
    定义selu导函数
    '''
    alpha=1.6732632423543772848170429916717
    scale=1.0507009873554804934193349852946
    return np.where(x<0,alpha*np.exp(x),scale)
```

## SReLU

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192914396.png)

## sigmoid

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802191015345.png)

### 梯度消失

优化神经网络的方法是Back Propagation，即导数的后向传递：先计算输出层对应的loss，然后将loss以导数的形式不断向上一层网络传递，修正相应的参数，达到降低loss的目的。 Sigmoid函数在深度网络中常常会导致导数逐渐变为0，使得参数无法被更新，神经网络无法被优化。原因在于两点：

1. 在上图中容易看出，当$\sigma(x)$中$x$较大或较小时，导数接近0，而后向传递的数学依据是微积分求导的链式法则，当前层的导数需要之前各层导数的乘积，几个小数的相乘，结果会很接近0 .
2. Sigmoid导数的最大值是0.25，这意味着导数在每一层至少会被压缩为原来的1/4，通过两层后被变为1/16，…，通过10层后为$\frac{1}{4^10}$。请注意这里是“至少”，导数达到最大值这种情况还是很少见的。

优点：平滑、易于求导。
缺点：激活函数计算量大，反向传播求误差梯度时，求导涉及除法；反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练。**幂运算相对耗时**

### 代码

```python
def sigmoid(x):
    '''
    定义sigmoid函数
    '''
    return 1.0/(1.0+np.exp(-x))

def sigmoidDerivative(x):
    '''
    定义sigmoid导函数
    '''
    return sigmoid(x)*(1-sigmoid(x))
```

## Hard Sigmoid

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802192939247.png)

## Symmetrical Sigmoid

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193009414.png)

## Tanh

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193035744.png)

### 代码

```python
def tanh(x):
    '''
    定义tanh函数
    '''
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))

def tanhDerivative(x):
    '''
    定义tanh导函数
    '''
    return 1-tanh(x)*tanh(x)
```

## Hard Tanh

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193102269.png)

## LeCun Tanh

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193127341.png)

## ArcTan

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193150603.png)

## SoftSign

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193210251.png)

### 代码

```python
def softsign(x):
    '''
    定义softsign函数
    '''
    return x/(np.abs(x)+1)
 
 
def softsignDerivative(x):
    '''
    定义softsign导函数
    '''
    return 1/(1+abs(x)*abs(x))

```

## Softplus

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193231689.png)

### 代码

```python
def softplus(x):
    '''
    定义softplus函数
    '''
    return np.log(np.exp(x)+1)
 
 
def softplusDerivative(x):
    '''
    定义softplus导函数
    '''
    return sigmoid(x)
```

## Signum

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193251484.png)

## Cos

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193308764.png)

## Sinc

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193335606.png)

## Log Log

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193355766.png)

## Gaussian

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193413489.png)

## Absolute

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193435653.png)

## Sinusoid

![](https://markdown-images-1257755739.cos.ap-guangzhou.myqcloud.com/hexo/images/image-20200802193457908.png)

# 常见问题

## 如何选择激活函数

- 如果是二分类问题， 输出层是sigmoid，其余层是Relu
- 一般隐层采用Relu， 有时也要试试 tanh， 这两大函数的变体都有必要试试

### 为什么Relu 不是全程可微也能用于基于梯度的学习？

虽然 ReLU 在 0 点不可导，但是它依然存在**左导数和右导数**，只是它们不相等（相等的话就可导了），于是在实现时通常会返回左导数或右导数的其中一个，而不是报告一个导数不存在的错误。

### 为何加入非线性因素能够加强网络的表示能力？

- 神经网络的万能近似定理：神经网络只要具有至少一个非线性隐藏层，那么只要给予网络足够数量的隐藏单元，它就可以以任意的精度来近似任何**从一个有限维空间到另一个有限维空间**的函数。
- 如果不使用非线性激活函数，那么每一层输出都是上层输入的**线性组合**；此时无论网络有多少层，其整体也将是线性的，这会导致失去万能近似的性质
- 但仅**部分层是纯线性**是可以接受的，这有助于**减少网络中的参数**。

### 为何 tanh 比 sigmoid 收敛快？

$$
tanh^{'}(x)=1-tanh(x)^{2}\in (0,1) \\
sigmoid^{'}(x)=sigmoid(x)*(1-sigmoid(x))\in (0,\frac{1}{4}]
$$

# 画图代码

```python
def allFuncPloter(start=-10,end=10,save_path='tanh.png'):
    '''
    所有激活函数曲线绘制
    '''
    x=np.arange(start,end,0.1)
    y1,y11=sigmoid(x),sigmoidDerivative(x)
    y2,y22=tanh(x),tanhDerivative(x)
    y3,y33=relu(x),reluDerivative(x)
    y4,y44=leakyrelu(x,a=0.01),leakyreluDerivative(x)
    y5,y55=elu(x,a=0.01),eluDerivative(x)
    y6,y66=softplus(x),softplusDerivative(x)
    y7,y77=softsign(x),softsignDerivative(x)
    y8,y88=selu(x),seluDerivative(x)
    data=[[y1,y11],[y2,y22],[y3,y33],[y4,y44],[y5,y55],[y6,y66],[y7,y77],[y8,y88]]
    label=['sigmoid','tanh','relu','leakyrelu','elu','softplus','softsign','selu']
    plt.clf()
    plt.figure(figsize=(10,8))
    for i in range(len(data)):
        plt.plot(x,data[i][0],label=label[i],c=color_list[i])
        plt.plot(x,data[i][1],label=label[i]+'Derivative',c=color_list[i])
    plt.legend(loc='best',ncol=2)
    plt.savefig(save_path)
 
 
def singleFuncPloter(start=-10,end=10,name='tanh'):
    '''
    单个指定激活函数曲线绘制
    '''
    x=np.arange(start,end,0.1)
    y1,y11=sigmoid(x),sigmoidDerivative(x)
    y2,y22=tanh(x),tanhDerivative(x)
    y3,y33=relu(x),reluDerivative(x)
    y4,y44=leakyrelu(x,a=0.01),leakyreluDerivative(x)
    y5,y55=elu(x,a=0.01),eluDerivative(x)
    y6,y66=softplus(x),softplusDerivative(x)
    y7,y77=softsign(x),softsignDerivative(x)
    y8,y88=selu(x),seluDerivative(x)
    data=[[y1,y11],[y2,y22],[y3,y33],[y4,y44],[y5,y55],[y6,y66],[y7,y77],[y8,y88]]
    label=['sigmoid','tanh','relu','leakyrelu','elu','softplus','softsign','selu']
    plt.clf()
    #plt.figure(figsize=(10,8))
    i=label.index(name)
    plt.plot(x,data[i][0],label=label[i],c=color_list[i])
    plt.plot(x,data[i][1],label=label[i]+'Derivative',c=color_list[i+1])
    plt.legend(loc='best',ncol=2)
    plt.savefig(name+'.png')
```

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/833

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除