浅谈Attention的运用及tensorflow实现-FlyAI

浅谈Attention的运用及tensorflow实现

Attention

最后更新 2020-09-08 10:39 阅读 7840

最后更新 2020-09-08 10:39

阅读 7840

Attention

#简介
attention注意力机制是谷歌2018年提出的，自从该机制被提出后，各种模型都会或多或少的去运用该机制，并取得了不错的效果。该文从小白的角度去讲解和运用attention机制，全文通俗易懂，并给出了相应的attention的tensorflow的实现源码。
#什么是Attention
首先我们要理解什么是注意力，以及为什么会有这种机制的出现的呢？注意力机制其实是模仿人类思维的，就好像神经网络模仿人类大脑的神经传播一样，注意力机制也就是模仿我们人类的注意力。
例如：看下面这幅图片，你能说出图上人的运动的吗？

我相信你会瞬间明白这是篮球运动，而我们的思考方式是我们看到这图图片首先会把目光聚焦到人和球的身上，然后继续观察这个人的动作。没错，这是我们人类独特的思考方式，那么计算机是如何工作的呢，计算机会扫描整幅图像的特征并记住每一个地方的特点，然后根据计算机自身的自身来判断它到底符合那一项运动，这样就会有问题出现了。
首先是计算机做了大量的无用功，比如去识别了大量的白色背景，而这对最后的判断提供不了任何有价值的东西，其次是如果存在其他有噪音的特征反而会给识别带来干扰，因此很不适合来处理一张图片有大量信息的内容。基于此，我们也开始想象计算机能否像人一样，集中注意力来解决这些问题的呢。
很幸运的是，我们找到了Attention机制，这让我们在训练许多模型都变得开始得心应手起来，我们可以训练我们的模型集中注意力只观察人和球，这样可以大大提升模型的识别准确率，同时由于Attention机制的可解释性强，真正的为人们去操控模型的优化提高强有力的帮助。
#Attention的运用
因为最近做序列模型比较多，所以介绍一下序列模型的注意力机制的运用，首先，我们要先明白一下为何要用注意力机制的呢，注意力机制有什么好处的呢？
首先我们知道想要获得高质量的数据标注集十分的困难，由于目前垂直领域所公布的大型数据集较少，而认为的标注又变得成本高，十分麻烦，那么远程监督的思想由此而来。我们可以手动构建大量的伪数据，我们可以先建立垂直领域的字典，然后根据字典匹配数据集。具体算法为，最长字典匹配算法。
```json

public Set<String> matchChinese(String text, Set<String> dictionary, int maxLength) {
        //text：待匹配文本     dictiona：词典    maxLength：词典中最长词长度
        Set<String> result=new HashSet<>();
        while(text.length()>0) {
            int length=maxLength;
            if(text.length()<maxLength)
                length=text.length();
            //取指定的最大长度的文本去词典里面匹配
            String s=text.substring(0,0+length);
            while(!dictionary.contains(s)){
                //如果长度为一且在词典中未找到匹配
                if(s.length()==1)
                    break;
                //如果匹配不到，则长度减一继续匹配
                s=s.substring(0,s.length()-1);
            }
            if(s.length()==1){
                if (dictionary.contains(s))
                    result.add(s);
            }else{
                result.add(s);
            }
            //从待查找文本中去除已经匹配的文本
            text=text.substring(s.length());
        }
        return result;

```
之后我们会得到大量的数据，但是这样构建的数据集同真实数据集相比会存在大量的噪音数据，而我们的注意力机制就可以很好的解决这个问题。
![](https://dataset.flyai.com/640.jpeg)
上图是运用了注意力机制的encoder-decoder模型，注意力机制会为我们所输入的hj1，hj2，hj3，hj4提供一个合适的权重，对于重要的信息权重高，次要的信息权重低，以此来降低噪音数据的权重从而和真实的数据集更加的接近。
#注意力机制的tensorflow实现
我们关注的是序列模型的注意力机制的实现，因此我们将注意力机制接到由序列模型所产生的值的后面，在此之后进行权重配比。
```python
    def attention(self, inputs, attention_size=100, time_major=False):
        if isinstance(inputs, tuple):
            inputs = tf.concat(inputs, 2)
        if time_major:  # (T,B,D) => (B,T,D)
            inputs = tf.transpose(inputs, [1, 0, 2])
        hidden_size = inputs.shape[2].value
        # Trainable parameters
        w_omega = tf.Variable(tf.random_normal([hidden_size, attention_size], stddev=0.1))
        b_omega = tf.Variable(tf.random_normal([attention_size], stddev=0.1))
        u_omega = tf.Variable(tf.random_normal([attention_size], stddev=0.1))
        v = tf.tanh(tf.tensordot(inputs, w_omega, axes=1) + b_omega)

vu = tf.tensordot(v, u_omega, axes=1, name='vu')  # (B,T) shape
        alphas = tf.nn.softmax(vu, name='alphas')  # (B,T) shape

# the result has (B, T, D) shape
        output = tf.multiply(inputs, tf.expand_dims(alphas, -1))
        output = tf.add(output, inputs)  # 改动点
        #         output = tf.transpose(output, perm=[1, 0, 2])
        return output
```
#总结
1，本文只是简要介绍，详细介绍还需要等后面再写。
2，注意力机制运用什么广泛，欢迎大家一起讨论注意力机制的运用领域的呀。
3，最后注意力机制的实现是放在LSTM后面的。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/687

讨论

500字

表情

发送

删除确认

是否删除该条评论？

取消删除