橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习

橡树岭国家实验室图


从系统的架构的复杂性上来讲,摩尔定律很难对其适用。


尽管如此,过去两年来,我们一直在迎来了新一轮针对深度学习和其他专业工作的新架构热潮,并涌现出FPGA、更快的GPU,以及迅速出现的开放架构等。这些架构在顶尖的系统架构师中一样不落,它们急于被应用,以建立可以有效消化不断增长的数据集的系统,具有更好的性能、更低的功耗,同时保持可编程性和可扩展性。


橡树岭国家实验室的研究人员通过使用基于MPI的方法,将数千个网络划分开,在超过18000个GPU上运行,从而进行大规模深度学习。正如科研人员所讨论的那样,将深度学习和机器学习添加到超级计算应用程序组合中,可以更好地利用大量的科学数据库,并提高了仿真的复杂性和最终的功能。


橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习

Thomas Potok


科学家创建自动生成的神经网络,以方便研究人员对神经网络进行更进一步的硬件调查。托马斯•波托克(Thomas Potok)和他的团队建立了一个新颖的深度学习工作流,充分利用了超级计算机、神经元设备和量子计算机。Thomas E. Potok博士是橡树岭国家实验室(ORNL)计算数据分析小组的创始人。


橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习

titan超算图


他们评估了这三个计算平台的优势,并发现他们能够通过使用HPC模拟数据作为其在titan超算上的自动网络工具生成的卷积神经网络的基准线,然后将该网络的单元移动到量子计算机(使用南加州大学 /洛克希德设计的1000量子位计算机)和神经元(由橡树岭国家实验室开发)设备上,来处理他们最擅长的单元。


比较超算、量子计算机和神经元装置在深度学习应用中的性能是比较困难的,因为测量标准是不同的,有各有所长。Potok表示,量子系统可以提供深度连接的网络并表达更多的信息,而不需要传统机器的计算成本,但是,无法跨越整个深度学习工作流。


橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习

上图显示了ORNL研究人员应用的超混合深度学习架构。数据运行在Titan超算上的卷积网络上,之后移动到量子计算一侧,然后脉冲神经网络/神经元利用以时间为中心的数据深挖这些结果。


橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习

神经元装置,特别是那些像橡树岭国家实验室(DANNA)开发的脉冲神经网络(spiking neural network,SNN),可以卸载一些包含时间序列元素神经网络。换句话说,HPC模拟和网络初始化在超级计算机上完成地最好,卷积神经网络的高阶函数可以通过量子机来解决,而结果则可以从神经网络设备以时间层面进行进一步分析。


“有了科学的数据,你通常会得到一个与时间相关的成像。你会得到一个与粒子交互的传感器。对于神经网络,我们可以采用标准卷积神经网络,并且具有互补的脉冲神经网络,用于数据或实验的时间单元。我们可以同时使用这些技术,不仅可以从图像中的某个位置层面看待这个问题,而且可以在时间层面上看待这个问题。”


橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习

“三四年前,当我们开始关注这一领域的时候,吴恩达和其他人都试图在节点之间扩展神经网络。问题是,人们没法超过64个节点”,Potok解释说,“我们采取了不同的做法;我们选择了难度最大的挑战,通过配置网络、构建拓扑和参数,并使用进化优化来自动配置它,而不是建立一个巨大的18000个节点的深度学习系统,我们使它成为了一个优化问题。


“大公司已经能够自动执行标注图像或识别语音,但是这需要很多人为这些网络辛苦工作。在HPC中,有很多数据集,但是没有很多人在使用它们,了解它们的人更少,”Potok说。“试图建立一个在那里工作的深度学习网络将是艰巨的,这就是HPC开始流行的原因。我们可以很快地为一个新的数据集定制一个深度学习网络,并快速获得结果。最重要的是,它可以在Titan上进行扩展,然后到Summit超算或者是一台超级计算机上。”


橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习

所有这些可能听起来像是对集成发起了挑战,即许多数据类型的工作朝着同一个最终结果进行——即使在整个问题中,输入和输出在分布式网络上是分步生成的。Potok认为上述的架构确实有效,但实际测试将会合并CNN和SNN,看看可能会取得什么样的结果。最终,最大的问题就是混合架构如何需要满足计算和应用需求。拥有一种新的、更强大的、可扩展的方式来创建更复杂的模拟结果将是有益的,但是很多设备尚未规模化生产。


当然,超大型理论工作是国家实验室最擅长的部分,但这可能会超越下一代机器的概念。Potok并不认为在未来五年内会出现如此大规模的混合体系结构,而是认为,在未来十年,所有三种计算模式都将有希望。换句话说,不仅计算平台是全新的,而且解决问题的方式也是全新的。


欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:418451831

tags: Potok,深度,神经,学习,架构,超算,量子,神经元,数据,HPC,实验室,橡树,计算机,卷积
分页:12
转载请注明
本文标题:橡树岭国家实验室是如何以神经元等搭建超混合深度学习框架的?深度学习
本站链接:https://www.codesec.net/view/547473.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 商业智能 | 评论(0) | 阅读(185)