24小时服务热线

18928448884 / 0755-2592 9959

24h咨询热线:18928448884

阿里斩获AI领域 “奥斯卡” 四项冠军新研究可精准预测视频目标位置 阿里斩获AI领域 “奥斯卡” 四项冠军新研究可精准预测视频目标位置 阿里斩获AI领域 “奥斯卡” 四项冠军新研究可精准预测视频目标位置

自动化定制


    阿里斩获AI领域 “奥斯卡” 四项冠军新研究可精准预测视频目标位置

    时间: 2024-04-26 23:55:28 |   作者: 自动化定制

  • 机型介绍



  业界一致认为,视频分割技术将成为线上会议、直播、无人驾驶、影视制作等场景的标配。例如直播场景使用阿里 AI 算法,能轻松实现一秒钟替换背景;在无人驾驶中,视频分割也是无人驾驶系统识别障碍物的关键技术。因此,视频分割技术将会和我们更息息相关。

  近日,全球计算机视觉顶会 CVPR 2020(CVPR,即 IEEE 国际计算机视觉与模式识别会议)公布各大挑战赛结果,阿里巴巴(以下称“阿里”)获得四项比赛的世界冠军,其中,在难度最高的 DAVIS( Densely Annotated Video Segmentation,密集标注视频分割 )挑战赛中,阿里提出了可以精准预测视频目标位置的方法,并且首次以超过 80 分的成绩夺得第一名。

  CVPR 是 AI 领域顶级规模的会议,被誉为计算机视觉领域“奥斯卡”,其范围涵盖计算机视觉领域的前瞻学术研究和工业应用,会议的研究成果体现着视觉 AI 领域研究的趋势。由于视频会议、直播等应用逐渐普及,2020 年顶级科技公司的研究成果逐步从图像延伸到视频领域,涉及视频压缩、视频分割、三维视觉等领域。

  和图像识别不同,AI 分析理解视频的技术门槛更高,长期以来,业界在视频 AI 技术的研究上鲜有重大突破。以 CVPR 会议难度最高的比赛之一 DAVIS 为例,该比赛需要参赛团队精准处理复杂视频中物体快速运动、外观变化、遮挡等信息。过去几年,全球顶级科技公司在该比赛中的成绩从未突破 80 分。

  据介绍,阿里参加的四项比赛均为视频技术领域。在 DAVIS 挑战赛中,阿里达摩院团队率先实现突破,力压悉尼科技大学 ReLER 实验室,以 84.1 的分数获得了第一名,比 2019 年第一名的中兴和华中科技大学联合团队高出 7.4 分。

  具体来说,阿里参与的是 DAVIS 半监督赛道。要求是假设用户不与算法交互以获取分割掩膜,输入值只给出第一帧的正确掩膜,算法需要在后续每一帧中实现对单个或多个目标的分割,也就是要把目标的像素标注出来。

  如上图所示,衡量分割准确率有两种标准,分别以 J 和 F 为代号,代表区域相似度(Region Similarity)和轮廓准确度(Contour Accuracy)。前者测量正确像素的标注数量,后者测量目标轮廓的分割有多精准。最终成绩是 J 和 F 标准的综合分。

  公开资料显示,在现有的 STMVOS 方法(利用空间 - 时间记忆网络分割视频目标)基础上,阿里提出了一种全新的空间约束方法,打破了传统 STM 方法缺乏时序性且会受到相似目标误导的瓶颈,可以让系统基于视频前一帧画面预测目标物体下一帧的位置;此外,阿里还引入了语义分割中的精细化分割微调模块,大幅度提高了分割精细程度。最终,精准识别动态目标的轮廓边界,并且与背景进行分离,实现像素级目标分割。

  作为对比,今年 DAVIS 挑战赛第二名 ReLER 实验室提出的 CFBI + 算法,原本领先基础 STMVOS 算法近 10 分,但阿里团队使用空间约束方法、新型训练策略和微调等技术,将基础算法的表现大幅度提高了 12 分,摘下桂冠。

  在另外两个比赛,HACS 人类动作短视频识别和 DeepFashion 服装识别中,阿里团队也获得了第一名。

  除获得四项比赛冠军,阿里还有 17 篇论文入选 CVPR 2020,这中间还包括一篇无人驾驶领域的研究成果,该论文提出了一个通用、高性能的无人驾驶检测器,首次实现 3D 物体检测精度与速度的兼得,可以有效提升自动驾驶系统安全性能。

  目前,阿里视觉 AI 技术已在全球率先实现大规模落地。例如,城市大脑、拍立淘、优酷视频等阿里集团内部业务场景均已大规模使用该技术;阿里 CT 影像 AI 已经服务全球 600 多家医疗机构,疫情期间已完成 50 余万例病例临床诊断。