NVIDIA第六届SkyHackathon报名开启，挑战创建AI大白，虚位以待！

Sky Hackathon 由 NVIDIA 发起并主办，项目旨在帮助在校学生、深度学习开发者在NVIDIA Jetson 边缘高性能计算产品上部署和优化人工智能应用。在经验丰富的 GPU 导师指导下，通过黑客松竞赛的方式学习业界所需的深度学习相关应用开发及其并行计算技能，激发学生们的学习兴趣与创新力。

NVIDIA 工程师将亲自为参赛队伍带来他们对最新的深度学习与边缘计算方面的理解、行业的趋势与最新的技术应用及最新开发工具实战技能知识，在训练营中对参赛队伍进行指导。  

Sky Hackathon 为参加者提供了一个难得的学习并实操的机会，学习嵌入式深度学习开发所需的动手技能， 通过使用 NVIDIA 最新的编程模型、库和工具以加速和优化他们的AI应用程序。

整个活动包含了训练营和黑客松比赛，全程采用在线的方式。

本次比赛由联宝科技有限公司（简称联宝科技）赞助。联宝科技致力于为企业提供智能边缘计算产品及解决方案，是 NVIDIA Jetson 全球生态的推荐伙伴，企业产值已连续两年突破千亿。

本次比赛前三名队伍将获得联宝 Jetson NANO 开发套件各一台。

前十名队伍的参赛导师也将获得联宝 Jetson NANO 开发套件各一台。

为了确保赛事资源有效使用，每个参赛队伍需要缴纳100元人民币参赛费用（以团队为单位），请先填写报名表，组委会会联系各队队长，缴纳报名费后（可开具发票），报名才算成功，且中途退赛不退还报名费。

50 个参赛席位等待您，名额报满即关闭报名通道。

新冠疫情给我们的生活带来了前所未有的挑战。面对疫情我们众志成城，团结抗疫，借助 AI 技术的发展助力科学防疫。NVIDIA 正在努力加强技术研究，致力于开发创新计算解决方案，加速了解新冠疫情的传播、规模和严重性，同时鼓励开发者们利用NVIDIA 各种 AI 开发工具，激发创造力对抗新冠疫情。

本次 Hackathon 活动以 AI 助力防疫——创建 AI “大白”为主题。身着白色防护服的工作人员辛苦奋战在抗疫一线，我们可以通过 AI 的技术辅助防疫工作，例如口罩识别检测和口罩佩戴语音提醒，小区门禁二维码识别等场景的应用, 学习 AI 项目在疫情防控中的设计理念。

场景描述

第一步：通过语音跟AI大白打招呼“你好大白，请让我进入小区“进行语音唤醒（ASR语音识别模块会将这段语音转换成文字）

第二步：当AI大白被语音指令唤醒，通过语音回复“请带好口罩并出示二维码”，并通过计算机视觉模块进行口罩检测与二维码识别。

第三步：AI大白通过视觉模块检测出您已配戴好口罩同时二维码有效，便会用声音说出“您好欢迎回家, 二维码有效请您通过”的语句（TTS语音合成模块会将文字转换成语音）

1 数据采集：每组参赛队伍自行分工，收集数据集并标注用于模型的训练(语音数据需录制、图像数据需标注) 。

2 模型训练：每组参赛队伍需要根据组委会提供的教程，在自己的服务器上搭建环境，训练自动语音识别模型、目标检测模型、语音合成模型。

· ASR 自动语音识别：根据录制的语音数据制作语音识别数据集，结合对话式AI工具库NeMo，训练自动语音识别模型，通过模型来识别语音指令（如：您好大白, 请让我进入小区）

· CV 目标检测：收集口罩数据, 利用 NVIDIA TAO Toolkit 训练口罩检测模型.  利用TensorRT 优化训练好的模型, 生成可执行的目标检测推理引擎. 结合二维码识别模块, 完成图像中的口罩检测和二维码识别，输出识别结果与文字回复。

· TTS 语音合成：根据录制的语音数据制作语音合成数据集，结合对话式 AI 工具NeMo，训练语音合成模型，将 CV 目标识别模块输出的文字回复用声音说出来，实现语音播报功能（如： “您好欢迎回家，二维码有效请您通过” ）

3 模型推理：参赛队伍最终将训练好的模型部署到组委会提供的 Jetson Nano 集群上，进行最终的推理测试。

4 本次活动：不限定参赛者选用的模型以及使用的训练数据集。

5 正式比赛时：组委会会提供最终测试数据和评分规则。每个参赛队伍需要利用评分规则和最终的测试数据对程序进行评分。

6 注意：除了在 NANO 平台上提交模型进行比赛外，各参赛团队还要提交一份不少于800字的项目报告（项目报告模板见附件）。

1. 基于目标识别的深度学习模型的训练过程

2. 利用 NVIDIA TAO 对模型进行剪枝等优化过程

3. 利用 NVIDIA TensorRT 对训练好的模型进行部署

4. 利用 NVIDIA NeMo 进行自动语音识别模型的训练

5. 利用 NVIDIA NeMo 进行语音合成模型的训练

6. 利用 NVIDIA NeMo 将自动语音识别模型以及语音合成模型部署在 Jetson NANO 上

7. 利用 Jetson Nano 进行实际场景实验

8. 深度学习数据集的收集，筛选，清理和标注以及语音数据集的录制构建等过程。

活动形式：线上

活动安排：

硬件平台：NVIDIA Jetson Nano（128CUDA核、4核CPU、4G内存）

操作系统：Ubuntu 18.04 L4T 64位元桌面版

开发环境：CUDA 10.2、CUDNN8.0、TensorRT7.1、OpenCV4.1.1

教学环境：Jupyter Lab 2.1.2

同时为参赛队伍提供真实的 NANO 编程环境

* 1. 自动语音识别推理精度评估（accASR）：将服务器端训练好的语音识别模型上传到 NANO 节点上实现推理，调用语音识别模型进行推理完成语音识别任务，并计算字错率(cer_score)分数，进而得到准确率的分数即（accASR = 1 -cer_score）；如果参赛队伍可以额外将自我介绍的中文名字也加入到语音识别任务如：“你好大白，我是小明，请让我进入小区” 并完成语音识别，则isOthermodel加1分。

* 2. 目标检测推理精度评估：将最终提交的模型在 NANO 节点上进行部署，在 NANO 上对口罩进行检测, 并对二维码进行识别. 根据组委会提供的统一测试数据集进行推理并计算mAP精度部分的最终成绩为:  accCV= 60-(accRank-1)

* 3. PESQ 客观语音质量评估：PESQ 是指用经过处理后的语音文件（语音压缩、合成、重构等）与原始目标语音进行比较。它是 MOS (主观语音质量平均意见分)的相关性参考标准，PESQ 得分范围在 -0.5--4. 5 之间，得分越低语音质量越差，得分越高表示语音质量越好。

* 4. MOS 主观语音质量平均意见分：MOS 是由不同的试听人员通过人耳听觉对测试语音的质量进行评分，最后求平均值得出 MOS 分数。将采取 5 个级别对测试语音的质量进行参考评价。

*5 网络模型重构（5%）：

▷ 本教程在语音识别部分提供 Quartznet 预训练模型为基础，

若能够灵活使用框架内其他语音识别预训练模型完成推理，则最终成绩 isOthermodel 加2分。

若能够自制语音数据集进行模型训练并完成推理，则最终成绩 isOthermodel 加5分。

▷ 语音合成部分若能够将姓名在语音合成的语句中播报，则最终成绩 isOthermodel 加2分。

▷ 视觉部分

修改 resnet18 ，isOthermodel 加3分

修改 ssd ，isOthermodel 加5分

如：

利用 ssd-mobilenet 则加3分

利用 yolo-resnet18 加5分

▷ 最终成绩为五部分分数之和：Final = accASR + accCV + pesqTTS + mosTTS + isOthermodel 。分数最高者为胜出团队。

另外本次比赛另设考勤分数，即参赛团队必须完成两次在线 AI 训练营打卡，即可获得考勤分。并且考勤情况我们也会通知团队导师。

本次 Hackathon 活动会提供专属赛事交流微信群，所有符合参赛条件的团队成员将被组委会人员邀请加入微信群。

此次活动采用导师制。所以每个参赛队伍都需要有一名指导老师。

导师需要能够敦促参赛团队完成两次在线 AI 训练营的学习，以及最后的比赛。能给予团队成员一定的技术指导。

所有导师带队的团队能完成最后的比赛，且成绩有效，前十名队伍的参赛导师也将获得联宝 Jetson NANO 开发套件各一台（如队伍导师重复，也只发一台）

 A :  Sky Hackathons 目前针对高校学生，当然有兴趣参与的高中学生也欢迎。一般不需要有 GPU 编程经验，但是最好有一定 Python 和编程基础；对深度学习、神经网络有一定理论基础；

需要自己准备数据训练用的 GPU 服务器/工作站或者 GPU 云；

本次活动暂时不接受非学生者参加。

 A :  黑客精神就是团队合作，每队需要选出一名队长，并为团队起个名字。

此次活动采用导师制。所以每个参赛队伍都会有一名指导老师。

所有团队成员应单独报名，并填写团队名称以及导师名字

每队限3-5人（不含导师）。如果报名团队多余5人或者少于3人，我们将视为团队无效。

团队报名链接：https://jinshuju.net/f/EVyMZo

或者扫描以下二维码报名参赛

 A :  可以，我们鼓励导师组织多支参赛队伍。

但是一个队伍只能有一位导师，不接受一个队伍两个导师。

 A :  一般来说，NANO Hackathon 是合作而不是竞争。最好的奖品是代码的新性能级别、与专家的相处时间、在 Jetson 平台上运行的能力以及难忘的体验，这些都可能使您更接近一篇新的论文或演讲。但是，我们确实会颁发一些象征性的奖品和参赛证书。

   奖品  

优胜奖：三个 ，每个队伍获得联宝 Jetson NANO 开发套件各一台

纪念奖：每位参赛选手，并获得参赛证书和参赛纪念品。

 A :  团队在线报名后，请队长在24小时内缴纳报名费用，每个团队费用为100元人民币（跟参赛人数无关）

组委会合作伙伴会开具“技术服务费”增值税普通电子发票。

支付宝转账：

支付宝账号：18915751925 顾海燕 （请备注团队名称）

24小时内没有缴纳报名费用，则席位取消。

报名时间内，如果所有席位报满，组委会将有权提前关闭报名通道。

- 扩展阅读 -

AI强势来袭，联宝科技推出4款边缘计算产品应对物联网终端高性能需求

- - - 项目报告模板 - - -

第六届 Sky Hackathon

参赛项目书

参赛学校：______________________

参赛队名：______________________

指导老师：______________________

团队成员：______________________________________________________________________________

_________________________________________________________________________________________   

项目说明：

描述一下数据集收集和标注情况：

描述一下您们是如何进行模型训练（比如训练的时间，训练的结果，如何完成NeMo语音识别及语言合成的模型训练，如何利用NVIDIA TAO对模型进行剪枝等优化过程等）

描述一下您们是如何在Jetson NANO进行部署和推理

总结（团队收获及照片）