$vue{csvName == '' ? '仅支持上传 CSV 格式的文件' : csvName+' 上传中...'}
- 赛事介绍
- 竞赛排行榜
- 讨论($vue{comment_count})
- 学习资源
$vue{item.rank_name}
大赛简介
心理对话问答挑战赛是由测测APP主办的NLP领域算法挑战竞赛,本次比赛主要是针对心理学领域的单轮问答式对话进行研究。
人机对话在NLP领域是一项重要的研究分支,从技术上来说具有挑战性与趣味性。在AI+的科技创新背景下,测测以AI技术在心理领域的深度融合应用为企业目标,广发英雄帖邀请各界算法科学家前来参赛、研究。
本次赛题要求参赛者通过语义理解、合理文本生成等技术的实现,构建精准的算法模型,推动“AI+心理”的技术突破创新。
参赛须知
报名时间
2021-02-03 12:00:00 - 2021-04-12 12:00:00
初赛开始结束时间
2021-02-03 12:00:00-2021-04-15 12:00:00
组队时间
2021-02-03 12:00:00-2021-04-12 12:00:00
创建、加入团队需在规定组队时间内完成,超过规定组队时间无法创建/加入/解散团队。团队已经创建/加入其他团队后,将不支持解散。如特殊原因团队解散,请联系FlyAI小助手进行解散申述
初赛成绩综合评审时间
2021-04-15-2021-04-19
大赛组委会将选取初赛榜单精度成绩前15名进入到人工评审阶段,包括turn-level评估和dialog-level评估,并于21日下午前发布【初赛综合排行榜】,前 10 支队伍进行线上答辩。
决赛答辩时间
2021-04-19-2021-04-19
具体答辩时间由官方另行通知。初赛综合成绩优胜的选手进入线上答辩环节,采取网上远程答辩。形式包括PPT、视频等进行展示,由评委进行提问、打分,决定最终排名。
参赛方式
- 下载FlyAI样例模版进行本地调试并提交到云端使用免费GPU进行模型训练获得最终成绩得分。
参赛选手说明
- 参赛人员身份信息需保证真实、有效,大赛主办方仅将个人信息用于赛事数据授权及颁奖使用
- 欢迎海内外的在校学生,算法工程师和所有AI爱好者参与
- 本次竞赛报名形式:以个人形式本地提交作品线上审核,并且以最终提交算法得分作为唯一有效成绩
- 在比赛截止日期前,团队中成绩最高分作为本团队的最终成绩
- 报名成功后请加入FlyAI竞赛交流群,一起学习进步!重要通知也将在群内发布,不要错过哦
比赛作品说明
- 参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证
- 不同团队/个人,提交相似结果文件,取消双方所有人员参赛资格
- 多开小号报名、提交,一经发现将取消参赛资格
- 禁止使用外部链接下载代码替换本项目代码
- 比赛过程中,通过脚本获取比赛数据,成绩无效
- 使用线上测试集进行训练或者使用非官方提供的外部数据进行训练,成绩无效
- 使用的预训练模型需为FlyAI官方审核通过的模型,使用非官方验证预训练模型,成绩无效
- 提交的代码具备可解释性并且其它开源框架可复现
- 所有相似代码将一律不通过审核!!情况多次出现者封号处理
- 如有发现利用非正常手段作弊行为,奖金一律不发放。之前所获得奖金金额官方有权收回,情节严重者封号处理
- 提交代码即视为阅读并同意以上比赛作品说明
大赛奖项设置
奖项说明:
奖项设置 | 获奖人数 | 奖金额度说明(按最终得分评判) |
---|---|---|
一等奖 | 2队 | 每队 7,000元(税前)+电子证书+测测APP内推 |
二等奖 | 2队 | 每队 2,000元(税前)+电子证书+测测APP内推 |
三等奖 | 2队 | 每队 1,000元(税前)+电子证书+测测APP内推 |
优胜奖 | 上榜队伍 | 电子证书(联系FlyAI小助手) |
奖励获取要求:
- 选取【初赛综合排行榜】前10支队伍进行线上答辩
- 根据初赛综合得分与答辩得分加权成绩评选最终一、二、三等奖的获得者
- 若有团队主动弃赛,晋级名次顺延,公布替补名单及补位顺序
- 若有主动放弃答辩,则视为答辩得分为0分
赛事主题和数据说明
数据描述
由于需要提交代码作品在云端进行训练,参赛数据集不对外开放。仅提供调试数据。
字段说明:
文件名 | 字段名称 | 字段类型 | 备注 | 样例 |
---|---|---|---|---|
train.csv | question | str | 问题 | 老是胡思乱想是怎么办 |
answer | str | 答案 | 转移注意力,比如看喜欢的电视剧,电影 |
数据集分布情况介绍:训练集约30,000条,验证集约1,000条。
声明:本数据集由测测提供,仅用做本次比赛使用。
评审标准
算法输入输出格式
系统评估时,要求参赛者必须在predict方法中接收到输入和评估返回的结果输出,格式如下所示。
输入字段:
{
"question": "怎样使自己轻松"
}
输出字段:
{
"answer": "做深呼吸5分钟左右就可以相对放松了"
}
评审指标说明
- F1:评估输出回复相对于标准回复在字级别上的准确召回性能,作为评估模型性能的主指标
- 初赛排行榜排名顺序按照精度排名为主要排名,若精度成绩相同,则运行速度较小的成绩排名靠前
- 超过 45 分且模型运算速度不超过800s的成绩参与综合得分计算,未符合条件者不参与综合排名计算
- 若排行榜展示精度成绩超过45分但是速度超过800s,则取参赛者符合条件的历史精度成绩计算,否则不参与计算
- 根据初赛榜单前15名进入到人工评审阶段,包括turn-level评估和dialog-level评估
- turn-level评估:流利度、适当度、信息量、主动性
- dialog-level评估:连贯性、成功率、顺序质量
- 每个问题仅取前 3 条答案作为评估依据
- 人工评审阶段需要对话系统与评审人员进行实际对话,最终的比赛排名将以人工评审结果为准。综合成绩前10名进入答辩环节
- 综合成绩排名得分:第一名得分为100分,第二名为99分,第三名为98分...以此类推
- 答辩环节主要考察模型方案本身的创新和应用价值以及选手综合能力, 先由评委根据各个项目进行打分,然后进行排名,最后计算答辩排名得分
- 答辩排名得分计算规则:
- 答辩排名得分:第一名 100 分,第二名为99分,第三名为98分...以此类推
- 0.7 * 初赛综合排名得分 + 0.3 * 答辩排名得分
初赛自动评测说明
初赛综合-人工评审说明
线上答辩评审说明
总成绩计算规则说明
比赛常见问题说明
Q:比赛使用什么框架?
- 比赛支持常用的机器学习和深度学习框架,比如TensorFlow,PyTorch,Keras,Scikit-learn、MXNet等。
Q:怎么参加比赛,需不需要提交CSV文件?
- FlyAI竞赛平台提供免费云端GPU资源,报名后可以使用自己熟练的框架,修改main.py中的网络结构和processor.py中的数据处理;仅部分赛题支持CSV方式提交,请仔细阅读参赛方式相关内容。
Q:比赛排行榜分数怎么得到的?
- 参加项目竞赛必须实现prediction.py中的load_model和predict方法。系统使用这些方法评估模型算出评分。
$vue{item.finish_at_formate}
$vue{item.train_score}
暂无排行喔~不要急,马上就会有
暂无排行喔~不要急,马上就会有
这里还没有内容哦