心理对话问答挑战赛

分享给好友

2021-02-03 12:00:00
开始提交

2021-04-15 12:00:00
最终提交结束

自由训练

20,000元奖金+证书+企业内推
参赛权限提示

当前赛题需能力值达到 $vue{itemranking} 才可以正常提交训练哦~

当前赛题仅允许 600 能力值以下的新手可以正常提交训练哦~

报名参赛
  • 赛事介绍
  • 竞赛排行榜
  • 讨论($vue{comment_count})

绑定你的微信账号

用于本地环境登录和实时接收训练通知

打开微信,使用扫一扫功能分享给好友

绑定你的微信账号

用于本地环境登录和实时接收训练通知

温馨提示

$vue{csv_msg}

知道了
提交结果文件

$vue{csvName == '' ? '仅支持上传 CSV 格式的文件' : csvName+' 上传中...'}

$vue{csvName}上传成功
取消 确认提交

提交成功

系统正在测评您的结果文件,

您可通过右侧【我的提交-查看记录详情】进行查看

知道了

大赛简介

心理对话问答挑战赛是由测测星座主办的NLP领域算法挑战竞赛,本次比赛主要是针对心理学领域的单轮问答式对话进行研究。

人机对话在NLP领域是一项重要的研究分支,从技术上来说具有挑战性与趣味性。在AI+的科技创新背景下,测测以AI技术在心理领域的深度融合应用为企业目标,广发英雄帖邀请各界算法科学家前来参赛、研究。

本次赛题要求参赛者通过语义理解、合理文本生成等技术的实现,构建精准的算法模型,推动“AI+心理”的技术突破创新。

参赛须知

报名时间

2021-02-03 12:00:00 - 2021-04-12 12:00:00

初赛开始结束时间

2021-02-03 12:00:00-2021-04-15 12:00:00

组队时间

2021-02-03 12:00:00-2021-04-12 12:00:00

创建、加入团队需在规定组队时间内完成,超过规定组队时间无法创建/加入/解散团队。团队已经创建/加入其他团队后,将不支持解散。如特殊原因团队解散,请联系FlyAI小助手进行解散申述

初赛成绩综合评审时间

2021-04-15-2021-04-19

大赛组委会将选取初赛榜单精度成绩前15名进入到人工评审阶段,包括turn-level评估和dialog-level评估,并于21日下午前发布【初赛综合排行榜】,前 10 支队伍进行线上答辩。

决赛答辩时间

2021-04-19-2021-04-19

具体答辩时间由官方另行通知。初赛综合成绩优胜的选手进入线上答辩环节,采取网上远程答辩。形式包括PPT、视频等进行展示,由评委进行提问、打分,决定最终排名。

参赛方式

  • 方式一:
  • 在线查看样例根据FlyAI样例模版实现算法并使用云端免费GPU进行模型训练获得最终成绩得分
  • 方式二:
  • 下载FlyAI样例模版进行本地调试并提交到云端使用免费GPU进行模型训练获得最终成绩得分,在本地进行代码调试的教程请查看[文档中心]

参赛选手说明

  • 参赛人员身份信息需保证真实、有效,大赛主办方仅将个人信息用于赛事数据授权及颁奖使用
  • 欢迎海内外的在校学生,算法工程师和所有AI爱好者参与
  • 本次竞赛报名形式:以个人形式本地提交作品线上审核,并且以最终提交算法得分作为唯一有效成绩
  • 在比赛截止日期前,团队中成绩最高分作为本团队的最终成绩
  • 报名成功后请加入FlyAI竞赛交流群,一起学习进步!重要通知也将在群内发布,不要错过哦

比赛作品说明

  • 参赛选手需要配合组委会对比赛作品的有效性与真实性进行验证
  • 不同团队/个人,提交相似结果文件,取消双方所有人员参赛资格
  • 多开小号报名、提交,一经发现将取消参赛资格
  • 禁止使用外部链接下载代码替换本项目代码
  • 比赛过程中,通过脚本获取比赛数据,成绩无效
  • 使用线上测试集进行训练或者使用非官方提供的外部数据进行训练,成绩无效
  • 使用的预训练模型需为FlyAI官方审核通过的模型,使用非官方验证预训练模型,成绩无效
  • 提交的代码具备可解释性并且其它开源框架可复现
  • 所有相似代码将一律不通过审核!!情况多次出现者封号处理
  • 如有发现利用非正常手段作弊行为,奖金一律不发放。之前所获得奖金金额官方有权收回,情节严重者封号处理
  • 提交代码即视为阅读并同意以上比赛作品说明

大赛奖项设置

奖项说明:

奖项设置 获奖人数 奖金额度说明(按最终得分评判)
一等奖 2队 每队 7,000元(税前)+电子证书+测测星座内推
二等奖 2队 每队 2,000元(税前)+电子证书+测测星座内推
三等奖 2队 每队 1,000元(税前)+电子证书+测测星座内推
优胜奖 上榜队伍 电子证书(联系FlyAI小助手)

奖励获取要求:

  • 选取【初赛综合排行榜】前10支队伍进行线上答辩
  • 根据初赛综合得分与答辩得分加权成绩评选最终一、二、三等奖的获得者
  • 若有团队主动弃赛,晋级名次顺延,公布替补名单及补位顺序
  • 若有主动放弃答辩,则视为答辩得分为0分

赛事主题和数据说明

数据描述

由于需要提交代码作品在云端进行训练,参赛数据集不对外开放。仅提供调试数据,可通过使用本地调试的方式获取调试数据集。本地调试和提交指南请查看[文档中心]

字段说明:

文件名 字段名称 字段类型 备注 样例
train.csv question str 问题 老是胡思乱想是怎么办
answer str 答案 转移注意力,比如看喜欢的电视剧,电影

数据集分布情况介绍:训练集约30,000条,验证集约1,000条。

声明:本数据集由测测提供,仅用做本次比赛使用。

评审标准

算法输入输出格式

系统评估时,要求参赛者必须在predict方法中接收到输入和评估返回的结果输出,格式如下所示。

输入字段:

{
    "question": "怎样使自己轻松"
}

输出字段:

{
    "answer": "做深呼吸5分钟左右就可以相对放松了"
}

评审指标说明

    初赛自动评测说明

  • F1:评估输出回复相对于标准回复在字级别上的准确召回性能,作为评估模型性能的主指标
  • 初赛排行榜排名顺序按照精度排名为主要排名,若精度成绩相同,则运行速度较小的成绩排名靠前
  • 初赛综合-人工评审说明

  • 超过 45 分且模型运算速度不超过800s的成绩参与综合得分计算,未符合条件者不参与综合排名计算
  • 若排行榜展示精度成绩超过45分但是速度超过800s,则取参赛者符合条件的历史精度成绩计算,否则不参与计算
  • 根据初赛榜单前15名进入到人工评审阶段,包括turn-level评估和dialog-level评估
  • turn-level评估:流利度、适当度、信息量、主动性
  • dialog-level评估:连贯性、成功率、顺序质量
  • 每个问题仅取前 3 条答案作为评估依据
  • 人工评审阶段需要对话系统与评审人员进行实际对话,最终的比赛排名将以人工评审结果为准。综合成绩前10名进入答辩环节
  • 综合成绩排名得分:第一名得分为100分,第二名为99分,第三名为98分...以此类推
  • 线上答辩评审说明

  • 答辩环节主要考察模型方案本身的创新和应用价值以及选手综合能力, 先由评委根据各个项目进行打分,然后进行排名,最后计算答辩排名得分
  • 答辩排名得分计算规则:
  • 答辩排名得分:第一名 100 分,第二名为99分,第三名为98分...以此类推
  • 总成绩计算规则说明

  • 0.7 * 初赛综合排名得分 + 0.3 * 答辩排名得分

比赛常见问题说明

Q:比赛使用什么框架?

  • 比赛支持常用的机器学习和深度学习框架,比如TensorFlow,PyTorch,Keras,Scikit-learn、MXNet等。

Q:怎么参加比赛,需不需要提交CSV文件?

  • FlyAI竞赛平台提供免费云端GPU资源,报名后可以使用自己熟练的框架,修改main.py中的网络结构和processor.py中的数据处理;仅部分赛题支持CSV方式提交,请仔细阅读参赛方式相关内容。

Q:比赛排行榜分数怎么得到的?

  • 参加项目竞赛必须实现prediction.py中的load_model和predict方法。系统使用这些方法评估模型算出评分。

$vue{item.rank_name}

仅超过 45分 且运行速度小于 800ms 的成绩做为符合获奖条件的成绩哦!

暂无排行喔~不要急,马上就会有

讨论
500字
表情
每日优质讨论奖励 20FAI
发送
每日优质讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除

挑战者大赛 官方交流群

我的记录

你还没有任何提交记录喔...

使用指南

  • windows客户端
  • windows命令行
  • Mac/Linux

1.进入代码编辑页下载当前代码

2.本地解压缩代码包文件,双击执行 flyai.exe 程序

第一次使用需要使用微信扫码登录 杀毒软件可能会误报,点击信任该程序即可

3.开启 FlyAI-Jupyter 代码调试环境

运行flyai.exe程序,点击"使用jupyter调试"按钮自动打开jupyter lab 操作界面

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

4.下载本地测试数据

运行flyai.exe程序,点击"下载数据"按钮,程序会下载100条调试数据

5.提交训练到GPU

运行flyai.exe程序,点击"提交GPU训练"按钮,代码将自动提交到云端GPU进行训练

返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.打开运行,输入cmd,打开终端

Win+R 输入 cmd

3.使用终端进入到项目的根目录下

cd path\to\project

4.开启 FlyAI-Jupyter 代码调试环境

在终端执行命令 flyai.exe ide 打开调试环境(第一次使用需要使用微信扫码登录)

操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !flyai.exe train 将代码提交到云端GPU免费训练

返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

7.使用自己的Python环境

flyai.exe path=xxx 可以设置自己的Python路径

flyai.exe path=flyai 恢复系统默认Pyton路径

更多参赛帮助请查看文档中心

1.进入代码编辑页下载当前代码

2.使用终端进入到项目的根目录下

cd path\to\project

3.初始化环境登录

使用如下命令授权 flyai 脚本: chmod +x ./flyai

4.开启 Jupyter 代码调试环境

在终端执行命令 ./flyai ide 打开调试环境(第一次使用需要使用微信扫码登录) 操作过程有延迟,请耐心等待

运行 run main.py 命令即可在本地训练调试代码

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

或使用终端

执行下列命令本地安装环境并调试

./flyai test 注意:如果出现 permission denied 错误,需使用sudo运行

如果出现 No Model Name "xxx"错误,需在 requirements.txt 填写项目依赖

执行test命令,会自动下载100条测试数据到项目下

如果使用本地IDE开发,可以自行安装 requirements.txt 中的依赖,运行 main.py 即可

5.提交训练到GPU

在FlyAI-Jupyter环境下运行 !./flyai train 将代码提交到云端GPU免费训练 返回sucess状态,代表提交离线训练成功,训练结束会以微信和邮件的形式发送结果通知

或者在终端下使用 ./flyai train -b=32 -e=10

项目中有新的Python包引用,必须在 requirements.txt 文件中指定包名,不填写版本号将默认安装最新版

6.下载本地测试数据

首次成功执行本地调试命令后,将在本地代码包中自动生成"data"数据集文件夹

7.使用自己的Python环境

./flyai path=xxx 可以设置自己的Python路径

./flyai path=flyai 恢复系统默认Pyton路径

更多参赛帮助请查看文档中心