炼数成金 门户 商业智能 深度学习 查看内容

TensorFlow Serving入门

2018-9-27 11:04| 发布者: 炼数成金_小数| 查看: 16348| 评论: 0|原作者: 刘才全|来自: 机器学习算法工程师

摘要: 大家习惯使用TensorFlow进行模型的训练、验证和预测,但模型完善之后的生产上线流程,就变得五花八门了。针对这种情况Google提供了TensorFlow Servering,可以将训练好的模型直接上线并提供服务。在2017年的TensorFl ...

tm 工具 模型 Tensorflow 源码 Docker

前  言
大家习惯使用TensorFlow进行模型的训练、验证和预测,但模型完善之后的生产上线流程,就变得五花八门了。针对这种情况Google提供了TensorFlow Servering,可以将训练好的模型直接上线并提供服务。在2017年的TensorFlow开发者Summit上便提出了TensorFlow Serving。

传送门:
https://www.youtube.com/watch?v=q_IkJcPyNl0&list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv&index=13

但那时候客户端和服务端的通信只支持gRPC。在实际的生产环境中比较广泛使用的C/S通信手段是基于RESTfull API的,幸运的是从TF1.8以后,TF Serving也正式支持RESTfull API通信方式了。

01、服务框架


基于TF Serving的持续集成框架还是挺简明的,基本分三个步骤:

模型训练
这是大家最熟悉的部分,主要包括数据的收集和清洗、模型的训练、评测和优化;
模型上线
前一个步骤训练好的模型在TF Server中上线;
服务使用
客户端通过gRPC和RESTfull API两种方式同TF Servering端进行通信,并获取服务;

02、TF Serving工作流程


TF Serving的工作流程主要分为以下几个步骤:
Source会针对需要进行加载的模型创建一个Loader,Loader中会包含要加载模型的全部信息;
Source通知Manager有新的模型需要进行加载;
Manager通过版本管理策略(Version Policy)来确定哪些模型需要被下架,哪些模型需要被加载;
Manger在确认需要加载的模型符合加载策略,便通知Loader来加载的模型;
客户端像服务端请求模型结果时,可以指定模型的版本,也可以使用模型的结果

03、简单示例
TF Serving客户端和服务端的通信方式有两种(gRPC和RESTfull API)

示例(一):RESTfull API形式
1. 准备TF Serving的Docker环境
目前TF Serving有Docker、APT(二级制安装)和源码编译三种方式,但考虑实际的生产环境项目部署和简单性,推荐使用Docker方式。
docker pull tensorflow/serving

2. 下载官方示例代码
示例代码中包含已训练好的模型和与服务端进行通信的客户端(RESTfull API形式不需要专门的客户端)
mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving

3. 运行TF Serving
这里需要注意的是,较早的docker版本没有“--mount”选项,比如Ubuntu16.04默认安装的docker就没有(我的环境是Ubuntu 18.04)。
docker run -p 8501:8501 \
    --mount type=bind,\
    source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,\
    target=/models/half_plus_two \
    -e MODEL_NAME=half_plus_two -t tensorflow/serving &

4. 客户端验证
curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

5. 返回结果
# { "predictions": [2.5, 3.0, 4.5] }

示例(二):gRPC形式
1. 准备TF Serving的Docker环境
目前TF Serving有Docker、APT(二级制安装)和源码编译三种方式,但考虑实际的生产环境项目部署和简单性,推荐使用Docker方式。
docker pull tensorflow/serving

2. 下载官方示例代码
mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving

3. 模型编译
python tensorflow_serving/example/mnist_saved_model.py models/mnist

4. 运行TF Serving
这里需要注意的是,较早的docker版本没有“--mount”选项,比如Ubuntu16.04默认安装的docker就没有(我的环境是Ubuntu 18.04)。
docker run -p 8500:8500 \
    --mount type=bind,source=$(pwd)/models/mnist,target=/models/mnist \
    -e MODEL_NAME=mnist -t tensorflow/serving

5. 客户端验证
python tensorflow_serving/example/mnist_client.py --num_tests=1000 --server=127.0.0.1:8500

6. 返回结果
Inference error rate: 11.13%
这里需要注意的是,直接运行mnist_client.py会出现找不到“tensorflow_serving”的问题,需要手动安装,
pip install tensorflow-serving-api

04、资料参考
TF Serving官方文档:<https://www.tensorflow.org/serving/>

声明:文章收集于网络,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2018-10-21 20:07 , Processed in 0.122738 second(s), 25 queries .