图像增强库Albumentations-FlyAI

图像增强库Albumentations

图像分类

最后更新 2020-11-27 19:37 阅读 416

最后更新 2020-11-27 19:37

阅读 416

图像分类

# 1. 图像增强
这部分想必大家很熟悉，所以大致提一下，快速带过，主要讲实操。

## 1.1 为什么需要图像增强？
DNN需要大量数据避免过拟合，数据成本很高：1.训练数据要标注，昂贵；2.有的训练数据本身就很难收集，法律限制等。

图像增强是：根据已有数据，创造新的训练数据的方法。就是对原图进行调整，如裁剪，亮度变化等。例子：
![](https://dataset.flyai.com/20201123164325665_781566939.png)

## 1.2 Albumentations库有什么优势？
官网列举了一些，
https://albumentations.ai/
我理解是：

基本的转换如：mirroring,cropping,改变亮度、分辨率等，很多库都能实现，Pillow与cv2，甚至torchvision等，但是有很多限制。

1.Albumentations可以很方便的改变数据的label，尤其是除了分类任务，在分割、目标检测与关键点检测的任务里也能很方便的实现！

对于分类任务，你只需要增强image，label是不变的，如：
![](https://dataset.flyai.com/20201123201457637_1785558721.png)

但是如果是分割任务，加入image旋转后，label 的mask也要对应的进行变化：
![](https://dataset.flyai.com/20201123201705744_948940669.png)

目标检测也一样，bbox的位置与大小都要相应的进行改变：
![](https://dataset.flyai.com/20201123201819991_1632261261.png)

Albumentations可以很轻松的实现这点。

2.其他的一些特点比较常规，与torchvision相差无几，如：
- 方便调整增强的概率与强度
- Compose实现简单的pipeline
- 在工业、学术、竞赛中应用，效果得到了验证
- 增强方式多，60多种

对了，额外的一点是Albumentations优化了最快的速度与最好的性能，是比torchvision要快的！且它完美兼容主流框架如Pytorch，keras等。

# 2. 分类任务的增强
## 2.1 流程
1.引包，当然Pillow也可以
```
import albumentations as A
import cv2
```
2.定义pipeline
与torchvision类似
```
transform = Compose([
    A.RandomCrop(width=256, height=256),
    A.HorizontalFlip(p=0.5),
    A.RandomBrightnessContrast(p=0.2),
])
```
所有效果在这里：https://albumentations-demo.herokuapp.com

3.读图
pipeline需要的输入是NumPy array，channel是RGB，对于cv2
```
image = cv2.imread("/path/to/image.jpg")
image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
```
对于Pillow
```
from PIL import Image
import numpy as np

pillow_image = Image.open("image.jpg")  # 对象
image = np.array(pillow_image)
```

4.image通过pipeline
```
transformed = transform(image=image)
transformed_image = transformed["image"]
```

## 2.2 一个简单的例子
原图
![](https://dataset.flyai.com/20201126211952028_1263408329.png)

增强后
```
transform = A.Compose([
        A.RandomRotate90(),
        A.Flip(),
        A.Transpose(),
        A.OneOf([
            A.IAAAdditiveGaussianNoise(),
            A.GaussNoise(),
        ], p=0.2),
        A.OneOf([
            A.MotionBlur(p=.2),
            A.MedianBlur(blur_limit=3, p=0.1),
            A.Blur(blur_limit=3, p=0.1),
        ], p=0.2),
        A.ShiftScaleRotate(shift_limit=0.0625, scale_limit=0.2, rotate_limit=45, p=0.2),
        A.OneOf([
            A.OpticalDistortion(p=0.3),
            A.GridDistortion(p=.1),
            A.IAAPiecewiseAffine(p=0.3),
        ], p=0.2),
        A.OneOf([
            A.CLAHE(clip_limit=2),
            A.IAASharpen(),
            A.IAAEmboss(),
            A.RandomBrightnessContrast(),
        ], p=0.3),
        A.HueSaturationValue(p=0.3),
    ])
```
![](https://dataset.flyai.com/20201126214010590_1069304138.png)

## 2.3 自带的天气增强
1.随机下雨

```
transform = A.Compose(
    [A.RandomRain(brightness_coefficient=0.9, drop_width=1, blur_value=5, p=1)],
)
```
![](https://dataset.flyai.com/20201126215418423_2061563303.png)

2.随机下雪
```
transform = A.Compose(
    [A.RandomSnow(brightness_coeff=2.5, snow_point_lower=0.3, snow_point_upper=0.5, p=1)]
)
```

![](https://dataset.flyai.com/20201126215628583_1193272823.png)

3.随机逆光

```
transform = A.Compose(
    [A.RandomSunFlare(flare_roi=(0, 0, 1, 0.5), angle_lower=0.5, p=1)],
)
```

![](https://dataset.flyai.com/20201126215736947_2134040475.png)

4.随机阴影
```
transform = A.Compose(
    [A.RandomShadow(num_shadows_lower=1, num_shadows_upper=1, shadow_dimension=5, shadow_roi=(0, 0.5, 1, 1), p=1)],
)

![](https://dataset.flyai.com/20201126215907227_1693874778.png)

5.随机雾
```
transform = A.Compose(
    [A.RandomFog(fog_coef_lower=0.7, fog_coef_upper=0.8, alpha_coef=0.1, p=1)],
)
```

![](https://dataset.flyai.com/20201126220001538_1910169214.png)

还有一些其他的实际应用，如分割、目标检测、关键点的，后续实验后分享。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://flyai.com/article/769

讨论

500字

表情

每日优质讨论奖励 20FAI

发送

每日优质讨论奖励 20FAI

删除确认

是否删除该条评论？

取消删除