未加星标

AWS推出MXNet模型服务器深度学习

字体大小 | |
[商业智能 所属分类 商业智能 | 发布者 店小二03 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

AWS推出MXNet模型服务器深度学习
工具
AWS推出MXNet模型服务器深度学习
模型
AWS推出MXNet模型服务器深度学习
Java
AWS推出MXNet模型服务器深度学习
架构
AWS推出MXNet模型服务器深度学习
深度学习

什么是 Model Server?

Model Server for Apache MXNet(MMS)是一个开源组件,旨在简化深度学习模型的部署。部署深度学习模型不是一项简单的任务,它要求收集各种模型文件、搭建服务栈、初始化和配置深度学习框架、暴露端点、实时发送度量指标,并运行自定义的预处理和后置处理逻辑代码,而这些仅仅是繁杂步骤中的一部分。尽管每一个细项不会很复杂,但从整体来看,模型部署过程繁琐而拖沓。


AWS 开源的 MMS 极大简化了 MXNet 的深度学习模型部署过程。MMS 提供了以下主要特性:

提供了一个可以将多个模型文件打包和导出到单个“模型压缩”文件的工具,这个压缩包里包含了所有 MXNet 需要的模型。

自动搭建服务栈,包括用于推理的 HTTP 端点、基于 MXNet 的引擎。

预配置的 Docker 镜像,包括 NGINX、MXNet 和 MMS。

可以自定义推理执行管道的每一个步骤,从模型初始化、预处理和推理,到后置处理和模型输出。

提供实时的运维度量指标,可用于监控推理服务和端点,包含了延迟、资源使用情况和错误信息。

支持 OpenAPI 规范,可以自动生成主流编程语言的客户端代码,如 Java、javascript、C# 等。

可以通过 PyPi 安装 MMS,或者直接从 GitHub 上下载。MMS 可以运行在 Mac 和 linux 上。如果要在生产环境中使用,我们建议使用 GitHub 仓库上预配置好的 Docker 镜像。


下图是参考架构图:


AWS推出MXNet模型服务器深度学习

Model Server 快速入门

下面的示例使用了一个预训练的 SqueezeNet v1.1 物体检测模型,该模型可以在 MMS Model Zoo 上找到。


首先需要安装 python,这是运行 MMS 的先决条件。

接下来,通过 PyPi 来安装 MMS。


AWS推出MXNet模型服务器深度学习

运行 MMS,并指定模型压缩包的 URL 或本地文件:


AWS推出MXNet模型服务器深度学习

在执行这个命令之后,MMS 进程开始启动,并下载和解压缩模型文件,配置好服务,然后开始监听来自 /squeezenet/predict 端点的请求(本地默认地址是 localhost,端口 8080,可配置)。

为了测试刚刚启动的服务,可以通过 HTTP 发送一个推理请求:


AWS推出MXNet模型服务器深度学习

返回结果如下:


AWS推出MXNet模型服务器深度学习

导出模型

MMS 将模型打包成特定的格式。它提供了一个命令行工具 mxnet-model-export 用于打包模型并导出成单独的压缩包。压缩包里包含了模型所有相关的元数据。在初始化服务端点时,MMS 会读取压缩包。


下图展示了模型的导出过程:


AWS推出MXNet模型服务器深度学习

从图中可以看到,需要打进压缩包的内容包括模型的神经网络架构和参数(层、算子和权重),以及服务的输入、输出的数据类型和张量模型定义。不过,在实际使用当中,可能不仅仅需要神经网络。例如,很多视觉模型需要进行预处理,并要求对输入图像进行转换。而分类模型一般要求进行后置处理,以便对分类结果进行排序和梳理。为了解决这些问题,MMS 将自定义的处理逻辑代码和附带文件也打进压缩包中,在运行时就可以使用这些代码和文件。这个强大的机制可以将整个处理管道所需要的东西一次性打包:从输入的预处理、自定义推理,到应用类识别标签。


更多关于压缩包导出的内容可以参看 MMS 文档:

https://github.com/awslabs/mxnet-model-server/blob/master/docs/export.md。


为了更好地了解 MMS,我们建议从 Single Shot MultiBox Detector(SSD)教程开始,该教程将告诉我们如何导出和运行一个 SSD 模型。更多示例可以参看 GitHub 上的文档:

https://github.com/awslabs/mxnet-model-server/。


欢迎加入本站公开兴趣群

商业智能与数据分析群

兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识

QQ群:418451831

tags: MMS,模型,MXNet,压缩,Model,导出,推理,文件,端点,预处理,深度,mxnet,model,Server
分页:12
转载请注明
本文标题:AWS推出MXNet模型服务器深度学习
本站链接:https://www.codesec.net/view/570119.html


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 商业智能 | 评论(0) | 阅读(120)