大赛奖项设置

奖项说明:

奖励获取要求:

• 上线时间：2020-03-27
• 月排名奖结算时间：2020-04-27 20:00:00
• 奖金获取标准：50<Score 根据排名获得奖金
• 排名奖发放完毕,前5名参赛者需提供文档格式赛题解决思路和15分钟以上的PPT答辩视频（FlyAI提供模版)；审核完毕后，将陆续将竞赛奖金发放至您的FlyAI账户；

赛事主题和数据说明

赛题描述

从IT时代进入到DT时代之后，数据库被视为互联网企业服务最重要的资源。数据库每天存储了大量的生产运营数据，而我们每天也会时时刻刻与数据库进行交互。 一般情况下查询数据库的数据需要使用专业的SQL语句进行查询，这样的查询效率很缓慢，同时对非专业人士来讲门槛太高，即使目前有相关的条件筛选等交互查询界面，但对使用的边界性有一定的限制。使用 NL2SQL 的技术方案，缩短用户与数据库之间的距离，用户可以更自由地表达自己的查询意图，同时减轻目前技术方案的繁琐、开发者的繁琐工作。 本赛题主要是英文文本转SQL任务，要求参赛者建立准确的模型识别自然语言意图达到数据的准确查询。本数据集是由11名耶鲁学生注释的大规模数据，它由200个数据库中的10,181个问题和5,693个唯一复杂SQL查询组成，其中多个表覆盖138个不同的域。

数据来源

TextSQL

数据描述

由于需要提交代码作品在云端进行训练，参赛数据集不对外开放。仅提供调试数据。

字段说明：

评审标准

算法输入输出格式

系统评估时，要求参赛者必须在predict方法中接收到输入和评估返回的结果输出，格式如下所示。

输入字段：

{
    "sql_data": "文本",
    "table_data": "文本"
}

输出字段：

{
    "sql": "文本"
}

评审指标说明

• 准确率（Accuracy）：对于给定的测试数据集，预测正确的样本数与实际总样本数之比
• True，表示预测正确的样本数数量
• Total Number of Samples，表示实际总样本数数量
• 计算公式如下：

比赛常见问题说明

Q:比赛使用什么框架？

• 比赛支持常用的机器学习和深度学习框架，比如TensorFlow，PyTorch，Keras，Scikit-learn、MXNet等。

Q:怎么参加比赛，需不需要提交CSV文件？

• FlyAI竞赛平台提供免费云端GPU资源，报名后可以使用自己熟练的框架，修改main.py中的网络结构和processor.py中的数据处理；仅部分赛题支持CSV方式提交，请仔细阅读参赛方式相关内容。

Q:比赛排行榜分数怎么得到的？

• 参加项目竞赛必须实现prediction.py中的load_model和predict方法。系统使用这些方法评估模型算出评分。