江水

  • 19

    获得赞
  • 1

    发布的文章
  • 3

    答辩的项目

蘑菇分类比赛TOP1----答辩

Batch大小为64,循环次数为30次,通过在线上环境完成训练,模型最优精度评分为98.71。

什么蘑菇?
图像分类
最后更新 2021/08/27 17:43 阅读 373

什么蘑菇?

最后更新 2021/08/27 17:43

阅读 373

图像分类

一、赛题分析 

本次竞赛使用的数据集由北欧真菌学家协会(Mycologist‘s Society of Northern Europe)提供的 9 种常见北欧蘑菇属的图像组成,从给的样例图片来看,图片比较清淅,尺寸很大,可以留给网络发挥的空间。       

主要难点:      

 1、数据不平衡性。       

2、图片大小不一。       

3、蘑菇的形态各样。 

 二、网络介绍 

对于该题,尝试过常规的几种网络,比如resnext、seresnext、resnest、efficientnet等系列,在当下网络中,最热的不过是注意力机制,每种网络的注意力机制又有各自的区别,经过测试,seresnext和resnest这两种网络效果较好。        

恰巧,又看到一篇介绍Transformer的文章,说是Transformer在自然语言处理建立霸主地位后,又来计算机视觉领域屠榜,在图片分类、分割、检测等有着惊艳表现,各项指标都领先传统的卷积神经网络。后来,看到chenfengshf小伙伴上传了基于微软的Swin Transformer的预训练模型,我也顺便做了测试,效果确实不错,成绩几乎提升了1个点。       

下面,结合自己学习的体会,向大家简要介绍一下Swin Transformer网络。 

 为什么要做这个研究?       

将Transformer的高性能迁移到视觉领域,解决CNN中对于全局信息特征提取的不足。将注意力计算限制在窗口中,引入CNN卷积操作的局部性,节省计算量。       

实验方法是什么样的?        

Swin Transformer提出hierarchical Transformer,来构建不同尺度的特征金字塔,每一层使用移位窗口将self-attention计算限制在不重叠的局部窗口内,同时通过跨窗口连接增加不同窗口之间的信息交互。 

 三、训练方式 

1.数据增强方式: 

随机旋转 

随机剪裁 

随机水平垂直翻转 

随机平移 

尺度变化 

 2. 学习率:余弦下降

3. Optimizer:Adam

4. 标签平滑

5. 三模型集成+交叉验证

6. 先冻结训练10轮,再全部训练

7. 预测时,采用TenCrop

本文为作者在FlyAI平台发布的原创内容,采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址:https://flyai.com/n/173128
立即参加 什么蘑菇?
代码展示

图像分类

选择查看文件
$vue{codeKeys}
  • $vue{ix}
赞赏贡献者还可以查看和下载优质代码内容哦!
赞赏 ¥17.50元
©以上内容仅用于在FlyAI平台交流学习,禁止转载、商用;违者将依法追究法律责任。
讨论
500字
表情
每日优质讨论奖励 20FAI
发送
每日优质讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除
感谢您的关注
该篇内容公开后我们将会给你推送公开通知
好的
发布成功!
您的公开申请已发送至后台审核,
通过后将公开展示本详情页!
知道了
向贡献者赞赏
¥17.50
微信支付
支付宝

请先绑定您的微信账号 点击立即绑定

立即支付
温馨提示:
支付成功后不支持申请退款,请理性消费;
支付成功将自动解锁当前页面代码内容,付款前请确认账号信息。
微信扫码支付
请前往Web网页进行支付

敬请谅解,如有疑问请联系FlyAI客服

知道了
举报
请选择举报理由
确定
提示
确定要删除?
取消删除

今日签到成功

获得 $vue{sianData.sign_fai} FAI的GPU算力积分

知道了