AI革命如火如荼,为企业带来新的机遇,每次客户互动、每件产品和每项服务都将融入 AI并借助 AI实现改进。多年来,GPU已经证明能够非常有效地解决某些极为复杂的深度学习问题,而且 NVIDIA深度学习平台也逐渐成为业界标准的训练解决方案,但其推理能力并非广为人知。早在2016年NVIDIA就推出了支持高性能深度学习推理加速引擎——TensorRT。TensorRT是一个高性能的深度学习推理(Inference)优化器。经过几个版本的迭代,TensorRT可以为深度学习应用提供低延迟、高吞吐率的部署推理。为了让更多的AI开发者们迅速掌握NVIDIA高性能加速工具TensorRT,2021年3月20日,英伟达联合阿里云和英迈中国,面向全国开发者们发起TensorRT加速AI推理Hackathon 2021大赛。
本次大赛吸引了48支队伍245名选手参与报名,经过方案初选,共有37支队伍入围决赛,入围团队有来自知名互联网公司、无人驾驶方案公司、智能家电公司,也有来自高等院校及研究单位。在接下来的20多天时间里,参赛团队利用TensorRT工具,在阿里云提供的GPU云平台上完成优化自己所选深度学习模型的比赛任务。同时,NVIDIA组建了一支由工程师组成的导师团队,为每个参赛队伍配备了2名NVIDIA开发工程师,在线指导参赛队员利用TensorRT优化和部署模型。
4月30日,所有参赛队伍提交代码托管平台链接和项目报告书,并通过在线的方式向导师演示阿里云平台的数据测试结果。紧接着,NVIDIA组织核心技术评审团队,通过TensorRT加速技术路线比较、性能比较、创新性、可扩展性及实用性等几个方面考察每个团队的参赛模型。最终于5月21日公布比赛结果。
NVIDIA开发与技术亚太区总监,同时也是本次大赛评审团负责人李曦鹏说:“第一届TensorRT黑客松大赛非常精彩,我们看到了不少眼前一亮的模型方案。有几个队伍甚至发现了TensorRT的bug,可以协助我们完善TensorRT的开发工作。“
李曦鹏表示,“人工智能应用场景创新日新月异,AI模型的开发与部署也需要注入了新的动能。NVIDIA构建TensorRT的初衷就是为了进一步将人工智能推向更为广阔的应用场景。今天,看到各位参赛选手们基于TensorRT加速引擎挖掘出了更多的潜能和功能需求,我感到非常开心和激动。不忘初心,牢记使命,我们希望与更多优秀的开发者们一起,共同推进TensorRT的发展,让AI在GPU上更容易、更高效地部署。“
很多参赛队伍均表达了在参赛过程中有导师指导的重要性。
来自佳讯飞鸿智能科技研究院的团队负责人表示:“在NVIDIA导师的帮助下,提高了自己对TensorRT的认识,对于模型落地,又有了新的思路。”
来自上海高重科技有限公司,也是本次大赛一等奖团队成员表示:“很不错的一次实践体验,感谢NVIDIA的导师和组织者,从前期的基础知识培训到项目的具体实施,对自己的成长很有帮助。”
来自香港理工大学的团队负责人表示:“很棒的比赛,让我们的科研与实践能力都得到锻炼,希望以后还能有更多类似的比赛。”
关于本次大赛所有参赛作品可以访问NVIDIA开发者社区微信公众号。
