大赛奖项设置

奖项说明:

奖励获取要求:

• 选取【初赛综合排行榜】前10支队伍进行线上答辩
• 根据初赛综合得分与答辩得分加权成绩评选最终一、二、三等奖的获得者
• 若有团队主动弃赛，晋级名次顺延，公布替补名单及补位顺序
• 若有主动放弃答辩，则视为答辩得分为0分

赛事主题和数据说明

数据描述

由于需要提交代码作品在云端进行训练，参赛数据集不对外开放。仅提供调试数据。

字段说明：

本次比赛需检测的目标为心理卡牌图案，卡牌图案的名称分别以罗马数字“I”“II”“III”...“XXIV”进行展示，总计为24类；

评审标准

算法输入输出格式

系统评估时，要求参赛者必须在predict方法中接收到输入和评估返回的结果输出，格式如下所示。

输入字段：

{
    "image_path": "images\/0.jpg"
}

输出字段：

{
    "image_name": "0.jpg",
    "label_name": "I",
    "confidence": "0.0001",
    "bbox": "[xmin,ymin,width,height]"
}

评审指标说明

排行榜精度评估说明

• 初赛阶段的评审采用COCO mAP[@0.5:0.05:0.95] 指标（mean Average Precision) 进行计算，即将10个不同IOU阈值下的mAP取平均值作为最终结果
• 对于任意一IOU阈值，其对应的mAP计算公式如下：
• 
• 
• 
• p(r) 为当召回率（recall）为r时，检测结果的准确率(precision)
• mAP指标的基本介绍
• AP (Average Precision) 的计算方式采用 PASCAL VOC 2010年之后的版本，关于该版本的mAP细节和原理参考The PASCAL Visual Object Classes (VOC) Challenge
• 测评指标的关键参数为IOU 阈值：0.5 + 0.05*i (i = 0,1,2...9)
• 单张图像中最多检测框的数量为80。
• 初赛排行榜排名顺序按照精度排名为主要排名，若精度成绩相同，则运行速度较小的成绩排名靠前。

初赛综合评估说明

• 初赛综合得分计算规则：
• 超过 90 分且模型运算速度不超过1000s的成绩参与综合得分计算，未符合条件者不参与综合排名计算
• 0.5*精度排名得分+0.5*速度排名得分
• 根据初赛排行榜前15名合格参赛队伍，按照精度排名和速度排名加权计算初赛综合成绩，综合成绩前10名进入答辩环节。例如，精度排名第一名得分为100分，第二名为99分，第三名为98分...以此类推；速度排名第一名得分为100分，第二名为99分，第三名为98分...以此类推

线上答辩评审说明

• 答辩环节主要考察模型方案本身的创新和应用价值以及选手综合能力， 先由评委根据各个项目进行打分，然后进行排名，最后计算答辩排名得分。
• 答辩排名得分计算规则：
• 排名得分计算方式：第一名 100 分，依次往后每相差一个排名减 1 分
• 例如，答辩第一名得分为100分，第二名为99分，第三名为98分，...以此类推

总成绩计算规则

• 0.7 * 初赛综合得分 + 0.3 * 答辩排名得分

比赛常见问题说明

Q:比赛使用什么框架？

• 比赛支持常用的机器学习和深度学习框架，比如TensorFlow，PyTorch，Keras，Scikit-learn、MXNet等。

Q:怎么参加比赛，需不需要提交CSV文件？

• FlyAI竞赛平台提供免费云端GPU资源，报名后可以使用自己熟练的框架，修改main.py中的网络结构和processor.py中的数据处理；仅部分赛题支持CSV方式提交，请仔细阅读参赛方式相关内容。

Q:比赛排行榜分数怎么得到的？

• 参加项目竞赛必须实现prediction.py中的load_model和predict方法。系统使用这些方法评估模型算出评分。