COLA 英文句子可理解性分类

分享给好友

2019-05-15 15:00:00
开始提交

2019-06-14 15:00:00
最终提交结束

自由训练

剩余奖金 ¥ 1,973
参赛权限提示

当前赛题需能力值达到 $vue{itemranking} 才可以正常提交训练哦~

当前赛题仅允许 600 能力值以下的新手可以正常提交训练哦~

报名参赛

下载当前代码

您可使用自己熟悉的编辑器实现算法并通过命令行
提交任务到FlyAI云端训练。确认下载体验吗?

$vue{upDataType ? '上传样例压缩包' : '上传代码压缩包' }

请将代码文件压缩为zip格式,文件大小不超过10M 提示:请确认删除"data"⽂件夹后进行上传操作

将文件拖拽至此处或点击此处选择文件

$vue{complete < 99 ? '上传中' : '上传完成'} $vue{complete}

$vue{fileName}
线上GPU运行环境:
FlyAl推荐如下配置,如有问题可手动添加或修改!

GPU环境

深度学习框架

其它依赖

提交
提交

提交确认

设置好参数后点击“确定“发布GPU训练任务

EPOCHS

BATCH SIZE

绑定你的微信账号

用于本地环境登录和实时接收训练通知

打开微信,使用扫一扫功能分享给好友

绑定你的微信账号

用于本地环境登录和实时接收训练通知

温馨提示

$vue{csv_msg}

知道了
提交结果文件

$vue{csvName == '' ? '仅支持上传 CSV 格式的文件' : csvName+' 上传中...'}

$vue{csvName}上传成功
取消 确认提交

提交成功

系统正在测评您的结果文件,

您可通过右侧【我的提交-查看记录详情】进行查看

知道了
  • 赛事介绍
  • 竞赛排行榜
  • 奖金记录
  • 讨论($vue{comment_count})
  • 学习资源

$vue{item.rank_name}

大赛简介

完整句式的英文句子语料库(COLA)代表是可以被正常人听得懂的可接受语料,由语言学专家标记为可理解和不可理解的10657个英文句子组成。

参赛须知

参赛时间: 本次竞赛无时间限制,长期有效开放

参赛方式

  • 下载FlyAI样例模版进行本地调试并提交到云端使用免费GPU进行模型训练获得最终成绩得分。

参赛选手说明

  • 参赛人员身份信息需保证真实、有效,大赛主办方仅将个人信息用于赛事数据授权及颁奖使用
  • 欢迎海内外的在校学生,算法工程师和所有AI爱好者参与
  • 本次竞赛报名形式:以个人形式本地提交作品线上审核,并且以最终提交算法得分作为唯一有效成绩
  • 在比赛截止日期前,团队中成绩最高分作为本团队的最终成绩
  • 报名成功后请加入FlyAI竞赛交流群,一起学习进步!重要通知也将在群内发布,不要错过哦

比赛作品说明

  • 参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证
  • 不同团队/个人,提交相似结果文件,取消双方所有人员参赛资格
  • 多开小号报名、提交,一经发现将取消参赛资格
  • 禁止使用外部链接下载代码替换本项目代码
  • 比赛过程中,通过脚本获取比赛数据,成绩无效
  • 使用线上测试集进行训练或者使用非官方提供的外部数据进行训练,成绩无效
  • 使用的预训练模型需为FlyAI官方审核通过的模型,使用非官方验证预训练模型,成绩无效
  • 提交的代码具备可解释性并且其它开源框架可复现
  • 所有相似代码将一律不通过审核!!情况多次出现者封号处理
  • 如有发现利用非正常手段作弊行为,奖金一律不发放。之前所获得奖金金额官方有权收回,情节严重者封号处理
  • 提交代码即视为阅读并同意以上比赛作品说明

大赛奖项设置

奖项说明:

奖项设置 获奖人数 奖金额度说明(按最终得分评判)
参与奖(总奖金30%) 所有人 不同得分区间获得相应的竞赛奖金
突破奖(总奖金20%) 所有人 更新排行榜得分,获取相应竞赛奖金
排名奖(总奖金50%) 第一周/月前3名(冠、亚、季军) 项目上线第一周、第一个月; Time_P(周) = 0.5,Time_P(月) = 0.5;K1=0.5,K2=0.3,K3=0.2;
不同框架奖励 所有人 获得60FAI币用于GPU训练资源消耗

赛事主题和数据说明

赛题描述

通过实现算法并提交训练,获取奖金池奖金。小提示:抢先更新算法排行榜,有更大机会获取高额奖金哦!

数据来源

COLA

数据描述

由于需要提交代码作品在云端进行训练,参赛数据集不对外开放。仅提供调试数据。

字段说明:

文件名 字段名称 字段类型 备注
label int 不为空 类别
sentence string 不为空 句子内容

参考文献:

[1]Neural Network Acceptability Judgments

评审标准

算法输入输出格式

输入字段: sentence,

输出字段: label,

评审指标说明

  • 准确率(Accuracy):对于给定的测试数据集,预测正确的样本数与实际总样本数之比
  • True,表示预测正确的样本数数量
  • Total Number of Samples,表示实际总样本数数量
  • 计算公式如下:

比赛常见问题说明

Q:比赛使用什么框架?

  • 比赛支持常用的机器学习和深度学习框架,比如TensorFlow,PyTorch,Keras,Scikit-learn、MXNet等。

Q:怎么参加比赛,需不需要提交CSV文件?

  • FlyAI竞赛平台提供免费云端GPU资源,报名后可以使用自己熟练的框架,修改main.py中的网络结构和processor.py中的数据处理;仅部分赛题支持CSV方式提交,请仔细阅读参赛方式相关内容。

Q:比赛排行榜分数怎么得到的?

  • 参加项目竞赛必须实现 model.py 中的predict_all方法。系统通过该方法,调用模型得出评分。
超过 65分 的成绩会在48小时内更新到排行榜,不要着急哦!
第三名

sakuranew

647.76

batch数据为32,循环次数为16次,通过在线上环境完成训练,模型最优精度评分为85.15。

2019-06-14 15:37:05

647.76

85.15

第三名

NLP-Learner

474.13

batch数据为32,循环次数为5次,通过在线上环境完成训练,模型最优精度评分为84.99。

2019-06-14 00:02:22

474.13

84.99

第三名

yphacker

batch数据为32,循环次数为8次,通过在线上环境完成训练,模型最优精度评分为84.84。

2019-09-02 11:35:28

84.84

4

凉心半浅良心人

257.03

batch数据为32,循环次数为3次,通过在线上环境完成训练,模型最优精度评分为84.68。

2019-06-16 14:00:28

257.03

84.68

5

未名湖畔的落叶

286.50

batch数据为128,循环次数为500次,通过在线上环境完成训练,模型最优精度评分为83.85。

2019-05-29 14:13:26

286.50

83.85

6

弱鸡瑟瑟发抖

batch数据为64,循环次数为32次,通过在线上环境完成训练,模型最优精度评分为83.79。

2020-01-23 17:43:06

83.79

7

444444

14.06

batch数据为48,循环次数为10次,通过在线上环境完成训练,模型最优精度评分为83.69。

2019-06-13 16:26:37

14.06

83.69

8

麦小杨

640.50

batch数据为32,循环次数为6次,通过在线上环境完成训练,模型最优精度评分为81.97。

2019-10-03 17:42:16

640.50

81.97

9

丶人狠话不多

batch数据为32,循环次数为900次,通过在线上环境完成训练,模型最优精度评分为71.81。

2019-05-31 11:33:08

71.81

10

ChangeBio

378.75

batch数据为64,循环次数为300次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-05-21 07:34:48

378.75

71.76

11

trickornot

1.88

batch数据为16,循环次数为2000次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-05-23 17:40:48

1.88

71.76

12

普六茹那罗延

batch数据为32,循环次数为5000次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-05-25 13:01:56

71.76

13

陈成

batch数据为512,循环次数为32次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-05-30 19:22:38

71.76

14

恋旧却念旧

batch数据为1,循环次数为1次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-06-13 23:08:17

71.76

15

大大大宇子

batch数据为32,循环次数为16次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-06-18 16:38:57

71.76

16

chenfengshf

batch数据为32,循环次数为2次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-10-09 11:09:20

71.76

17

Jeremy

batch数据为128,循环次数为1次,通过在线上环境完成训练,模型最优精度评分为71.76。

2019-11-03 21:45:24

71.76

18

菜菜来了

batch数据为32,循环次数为1000次,通过在线上环境完成训练,模型最优精度评分为71.08。

2019-05-25 12:37:44

71.08

19

Meowooo

batch数据为64,循环次数为30次,通过在线上环境完成训练,模型最优精度评分为70.71。

2019-09-28 00:05:38

70.71

20

沙雕网友

327.00

batch数据为128,循环次数为2000次,通过在线上环境完成训练,模型最优精度评分为70.66。

2019-05-18 15:38:40

327.00

70.66

21

xsevenx

batch数据为32,循环次数为16次,通过在线上环境完成训练,模型最优精度评分为64.93。

2019-12-30 21:15:00

64.93

22

sixgod

batch数据为64,循环次数为288次,通过在线上环境完成训练,模型最优精度评分为28.24。

2019-05-22 10:34:08

28.24

23

我的爱人她叫九儿

batch数据为32,循环次数为1次,通过在线上环境完成训练,模型最优精度评分为28.24。

2019-07-16 18:34:07

28.24

24

玖月初识

batch数据为32,循环次数为10次,通过在线上环境完成训练,模型最优精度评分为28.24。

2019-08-16 16:12:30

28.24

25

sishiwu

batch数据为64,循环次数为32次,通过在线上环境完成训练,模型最优精度评分为28.24。

2019-11-14 10:55:54

28.24

26

树泉

batch数据为16,循环次数为5次,通过在线上环境完成训练,模型最优精度评分为28.24。

2019-12-27 21:05:55

28.24

27

张子鹏

batch数据为64,循环次数为2次,通过在线上环境完成训练,模型最优精度评分为28.24。

2020-03-12 13:57:47

28.24

28

wmqian

batch数据为64,循环次数为30次,通过在线上环境完成训练,模型最优精度评分为28.24。

2020-04-02 21:40:23

28.24

29

kira酱

batch数据为64,循环次数为30次,通过在线上环境完成训练,模型最优精度评分为28.24。

2020-07-21 14:20:43

28.24

30

Cloris

batch数据为64,循环次数为20次,通过在线上环境完成训练,模型最优精度评分为28.24。

2020-10-19 11:32:09

28.24

2019-06-15
sakuranew

模型得分为85.15,本次获得实时奖励奖金为4

2019-06-15 21:14:19

NLP-Learner

模型得分为84.99,本次获得排名奖奖金为375

2019-06-15 15:00:01

凉心半浅良心人

模型得分为84.11,本次获得排名奖奖金为250

2019-06-15 15:00:01

sakuranew

模型得分为84.78,本次获得排名奖奖金为625

2019-06-15 15:00:01

2019-06-14
NLP-Learner

模型得分为84.99,本次获得实时奖励奖金为8

2019-06-14 13:43:54

sakuranew

模型得分为84.68,本次获得实时奖励奖金为17

2019-06-14 13:43:51

sakuranew

模型得分为81.66,本次获得实时奖励奖金为1.76

2019-06-14 13:32:47

NLP-Learner

模型得分为83.95,本次获得实时奖励奖金为3

2019-06-14 13:32:44

凉心半浅良心人

模型得分为80.67,本次获得实时奖励奖金为7.03

2019-06-14 13:29:45

2019-06-13
444444

模型得分为83.59,本次获得实时奖励奖金为14.06

2019-06-13 10:38:06

2019-06-04
NLP-Learner

模型得分为79.62,本次获得实时奖励奖金为28.13

2019-06-04 11:52:38

2019-06-03
NLP-Learner

模型得分为72.07,本次获得实时奖励奖金为60

2019-06-03 10:30:38

2019-05-29
未名湖畔的落叶

模型得分为83.85,本次获得实时奖励奖金为9

2019-05-29 14:14:44

未名湖畔的落叶

模型得分为83.43,本次获得实时奖励奖金为277.5

2019-05-29 14:14:11

2019-05-27
trickornot

模型得分为71.76,本次获得实时奖励奖金为1.88

2019-05-27 10:27:32

2019-05-22
沙雕网友

模型得分为70.66,本次获得排名奖奖金为250

2019-05-22 15:00:02

ChangeBio

模型得分为71.76,本次获得排名奖奖金为375

2019-05-22 15:00:02

麦小杨

模型得分为71.76,本次获得排名奖奖金为625

2019-05-22 15:00:02

2019-05-20
ChangeBio

模型得分为65.35,本次获得实时奖励奖金为3.75

2019-05-20 11:25:46

麦小杨

模型得分为71.76,本次获得实时奖励奖金为15.5

2019-05-20 11:23:34

沙雕网友

模型得分为70.66,本次获得实时奖励奖金为77

2019-05-20 11:22:35

讨论
500字
表情
发送
删除确认
是否删除该条评论?
取消 删除
$vue{item.user_name}

$vue{item.title} $vue{item.title}

$vue{items}
$vue{item.like_count}
$vue{item.comment_counts}
$vue{item.comment_counts}
阅读 $vue{item.views}

这里还没有内容哦

挑战者大赛 官方交流群

我的记录

你还没有任何提交记录喔...

  • 参赛流程
  • 常见问题

第一步:参赛选手从FlyAI官网选择比赛报名,需下载样例代码

下载的项目中不包含数据集,运行main.py会自动下载调试数据集

本地调试根据不同数据集会提供10%~100%数据,全量数据提交到GPU后会自动更新替换

下载样例代码,解压后在样例代码上编写自己的模型代码,压缩后再在上传代码位置进行上传,就可以查看自己得分。

第二步:本地代码调试

本地配置Python3.5以上的运行环境,并安装项目运行所需的Python依赖包 app.json是项目的配置文件

在main.py中编写神经网络,没有框架限制

在prediction.py测试模型是否评估成功

main.py中需在class Main(FlyAI) 类中实现自己的训练过程

第三步:提交到GPU训练,保存模型

本地调试完成之后,提交代码到GPU,在全量数据上训练模型,保存最优模型。

提交GPU的方式有:网站在线提交。

第四步:评估模型,获取奖金,实时提现

GPU训练完成后,会调用prediction.py中的predict方法进行评估,并给出最后得分

高分的参赛选手,可实时获取奖金,通过微信提现

Q:如何获得奖金?

A:超过项目设置的最低分,根据公式计算,就可以获得奖金。

Q:比赛使用什么框架?

A:比赛支持常用的机器学习和深度学习框架,比如TensorFlow,PyTorch,Keras,Scikit-learn等。

Q:怎么参加比赛,需不需要提交csv文件?

A:FlyAI竞赛平台无需提交csv文件,在网页上点击报名,下载项目,使用你熟练的框架,修改main.py中的网络结构和数据处理,在prediction.py中进行加载模型及预测。将代码文件压缩为.zip格式,文件大小不超过10M,之后在网站进行在线提交就可以了。

Q:比赛排行榜分数怎么得到的?

A:参加项目竞赛必须实现 prediction.py 中的predict方法。调用模型得出评分。

Q:平台机器什么配置?

A:目前每个训练独占一块V100显卡,显存10G。

Q:本地数据集在哪?

A:可以本地使用ide运行 main.py 下载数据。

Q:FAI训练积分不够用怎么办?

A:目前GPU免费使用,可以进入到:我的积分,通过签到和分享等途径获得大量积分。

Q:离线训练代码不符合规范问题?

A:main.py中可以使用args.EPOCHS和args.BATCH。