请在Chrome、Firefox等现代浏览器浏览本站。另外提供付费解决DEDE主题修改定制等技术服务,如果需要请 点击 加我 QQ 说你的需求。XML地图

麻省理工学院韩松团队新突破:直接针对目标硬件平台训练专用的卷积神经网络

团队训练 采集侠 评论

“主要目标是实现人工智能在各种硬件平台上的普及,在特定硬件上提供“一键加速”的解决方案,帮助 AI 专家和非

基于让人工智能可快速大规模布建的需求,自动机器学习(AutoML)和神经网络架构搜索(NAS,Neural Architecture Search)成为相当受到关注的新领域,NAS 旨在利用算法自动设计出神经网络,优点是快速且高效,缺点则是需要大量的运算能力,成本昂贵。

麻省理工学院(MIT)电子工程和计算机科学系助理教授韩松与团队人员蔡涵和朱力耕设计出的 NAS 算法—ProxylessNAS,可以直接针对目标硬件平台训练专用的卷积神经网络(CNN),而且在 1000 类 ImageNet 大规模图像数据集上直接搜索,仅需 200 个 GPU 小时,如此便能让 NAS 算法能够更广泛的被运用。该论文将在 5 月举办的 ICLR(International Conference on Learning Representations)大会上发表。

麻省理工学院韩松团队新突破:直接针对目标硬件平台训练专用的卷积神经网络

(来源:Han Lab)

AutoML 是用以模型选择、或是超参数优化的自动化方法,而 NAS 属于 AutoML 概念下的一个领域,简单来说,就是用“神经网络来设计神经网络”,一来好处是可以加速模型开发的进度,再者,NAS 开发的神经网络可望比人类工程师设计的系统更加准确和高效,因此 AutoML 和 NAS 是达成 AI 普及化远景的重要方法之一。

DeepTech 采访了韩松,他表示,AutoML 是个很有前景的方向,架构搜索只是 AutoML 的一部分,它能自动化地找到一些过去人类探索不到的结构,反过来帮助人们设计高效的模型。然而,过去 NAS 算法的硬件效率有待提高:搜索过程需要很久的时间、而且搜出的模型的推理速度难以保证。NAS 和硬件结合,能带来很多新的设计策略。

麻省理工学院韩松团队新突破:直接针对目标硬件平台训练专用的卷积神经网络

图|ProxylessNAS 为硬件定制专属的高效神经网络架构,不同硬件适合不同的模型。(来源: https://arxiv.org/pdf/1812.00332.pdf)

大幅减少计算成本

举例来说,谷歌所开发的 NAS 算法,需要运行在 GPU 上 4.8 万个小时,才能生成一个用来做图像分类或检测任务的 CNN。当然,谷歌拥有庞大的 GPU 数量和其他专用硬件的资源,这对许多其他人来说是遥不可及的方法。而这就是 MIT 研究人员希望解决 NAS 计算昂贵的问题。他们提出的 ProxylessNAS 算法,仅需 200 个 GPU 小时,就可以在 1000 类 ImageNet 的大规模图像数据集上直接进行搜索,换算下来,比谷歌的 48,000 GPU 小时,快了 240 倍。而且,ProxylessNAS 可以针对特定的目标硬件平台上定制专属的深度学习模型,使其不仅准而且运行速度快。

“主要目标是实现人工智能在各种硬件平台上的普及,在特定硬件上提供“一键加速”的解决方案,帮助 AI 专家和非 AI 专家、硬件专家和非硬件专家有效率地设计又准又快的神经网络架构,”韩松说。同时,他也强调,NAS 算法永远不会取代人类工程师,“目的是减轻设计和改进神经网络架构所带来的重复性和繁琐的工作”。

麻省理工学院韩松团队新突破:直接针对目标硬件平台训练专用的卷积神经网络

图|MIT 电子工程和计算机科学系助理教授韩松(来源:https://songhan.mit.edu/)

路径级二值化和修剪

在该研究中,他们的做法是删除非必要性的神经网络设计组件,借此缩短计算时间、减少和内存开销来运行 NAS 算法。另一项创新则是让每个输出的 CNN 在特定硬件平台上(CPU、GPU 和移动设备)的运行效率比使用传统方法所设计的模型来得快速。在测试中,研究人员的 CNN 在手机上的测量速度,比相似精度的 MobileNet-V2 快了 1.8 倍。

麻省理工学院韩松团队新突破:直接针对目标硬件平台训练专用的卷积神经网络

图|硬件平台上架构搜索过程 Demo (来源:韩松团队

CNN 能连接不同层(layer)的人工神经网路,受到大脑处理影像的视觉皮质(visual cortex)组织启发,适合处理视觉方面的任务,是计算机视觉领域十分流行的架构。一个 CNN 架构是由多个可调整参数的计算层(称为“过滤器”),以及这些过滤器之间可能的连接所组成。

这种连接方式多种多样,由于可以选择的架构数量(称为“搜索空间”search space)非常庞大,所以想应用 NAS 在海量图像数据集上创建一个神经网络,计算量总是个很大的问题,所以工程师通常在较小的代理数据集上运行 NAS,再把将训练好的 CNN 迁移到目标任务上,但是,这种方法降低模型的准确性,此外,把一样的模型架构套用在所有的硬件平台,也难以发挥各种硬件的最佳效率。

TAG: 警察的好文章 陆谷孙好文章 写好文章有哪些好方法 关于钢厂安全的好文章 说话难听人很好文章 可以分享的好文章 在哪里才能看到好文章 谚语开头的好文章 政协好文章 各种好文章的结尾 好文章怎么赞美 对学生有启示的好文章 关于坚持的好文章 免疫荧光 发好文章 护理新三好文章 健身好文章 适合朗诵的好文章 过年一家团聚的好文章 好文章模板 记事好文章
喜欢 (0) or 分享 (0)
发表我的评论
取消评论

表情

您的回复是我们的动力!

  • 昵称 (必填)
  • 验证码 点击我更换图片

网友最新评论