寂寞沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,生肖守护神

体育世界 · 2019-03-29

AI 科技谈论按:日前,TensorFlow 团队与 NVIDIA 携手协作,将 NVIDIA 用来完成高功能深度学习推理的渠道——TensorRT 与 TensorFlow Serving 打通结合,运用户能够轻松地完成最佳功能的 GPU 推理。现在,TensorFlow Serving 1.13 已完成对 TF-TRT 的支撑,而不久后 TensorFlow 2.0 也将支撑 TF-TRT 的完成。 TensorFlow 在官方博客中对这项效果进孤寂沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,属相守护神行了发布,雷锋网 AI 科技谈论编译如下。

TensorFlow Serving 是应用于机器学习模型的灵敏的高功能效劳体系,而 NVIDIA TensorRT 则是一个用以完成高功能深度学受美国习推理的渠道,将二者相结合后,用户能够轻松地完成最佳功能的 GPU 推理。TensorFlow 团队与 NVIDIA 携李小幼手协作,在 TensorFlow vseak1.7 中添加了对 TensorRT 的首度支撑,尔后,他们更是坚持亲近的协作,一起致力于对 TensorFlow-TensorRT 集成(被称作 TF-TRT)进行改善。。现在,TensorFlow Serving 1.13 已完成对 TF-TRT 的支撑,而不久后 TensorFlow 2.0 也将支撑 TF-TRT 的完成。

就要鲁
德川喜喜

在此前的一篇博客(https://medium.com/tensorflow/serv女儿小芳ing-ml-quickly-with-tensorflow-serving-and-docker-7df7094aa008)中,咱们向咱们介绍了怎样怎么凭借 Docker 来运用 TensorFlow Serving。而在本文中,咱们要展现的是:以相同的方法来运转为 TF-TRT 转化的模型到底有多简略。自始自终地,咱们测验将ResNet 模型布置到出产环境中。下文的一切事例都在装备 Titan-V GPU 的作业站上运转。

在 GPU 上运用 TensorFlow Serving 创立 ResNet

在本次操练中,咱们简略地下载一个经过预练习的 ResNetSavedModel:

$ mkdir /tmp/res欧美天体net

$ curl -s

https://storage.googleapis.com/download.tensorflow.org/models/official/2018江苏启润科技有限公司1001_resnet/savedmodels/resnet_v2_fp32_savedmodel_NHWC_jpg.tar.孤寂沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,属相守护神gz | tar --strip-components=2 -C /tmp/resnet -xvz

$ ls /tmp/resnet

1538687457

在此前的博客中,咱们演示了怎么运用 TensorFlow Serving CPU Docker 图画来创立模型。在这里,咱们运转 GPU Docker 图画(点击https://www.t西游之焚天ensorflow.org/serving/docker#serving_with_docker_using_your_gpu检查相关阐明),然后凭借 GPU 创立并测验此模型:

$ docker pull tensorflow/serving:latest-gpu

$ docker run --rm --runtime=nvidia -p 8501:8501 --name tfserving_resnet

-v /tmp/resnet:/models/resnet -e MODEL_NAME=resnet -t tensorflow/serving:latest-gpu &

… server.cc:313] 卖淫合法Running gRPC M孤寂沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,属相守护神odelServer at 鸡鸡头0.0.0.0:8500 …

… server.cc:333] Exporting HTTP/REST API at:localhost:8501 …

$ curl -o /tmp/resnet/resnet_client.py

https://raw.githubuserconte孤寂沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,属相守护神nt.com/tensorflow/serving/master/tensor孤寂沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,属相守护神flow_serving/example/resnet_cli广东信华电器有限公司ent.py

$ python /tmp/resnet/resnet_client.py

Prediction class: 286, avg latency: 18.0469 ms

docker run指令会发动 TensorFlow Serving 效劳器,以供给 /tmp/resnet中已下载的 SavedModel,并在主机中显现 REST API端口 8501。resnet_client.py会给效劳器发送一些图画,并回来效劳器所作的猜测。现在让咱们中止运转 TensorFlow Serving 容器,来开释其所占用的 GPU 资源:

$ docker kill tfs4001122017erving_resnet

现在,咱们有了能够运转的模型。为了能从 TensorRT 获益,咱们需要在 TensorFlow Serving Docker 容器内运转转化指令,然后将现有模型转化为运用 TensorRT 运转运算的模型:

$ docker pull tensorflow/tensorflow:latest-gpu

$ docker run --rm --runtime=nvidia -it

-v /tmp:/tmp tensorflow/tensorflow:latest-gpu

/usr/local/bin/saved_model_cli convert

--dir /tmp/resnet/1538687徐允厚457

--output_dir /tmp/resnet_trt/1538687457

--tag_set serve

tensorrt --precision_mode FP32 --max_batch_size 1 --

is_dynamic_op True

在这里,咱们运转了 saved_model_cli 指令行东西,其间内置了对 TF-TRT 转化的支撑。--dir和 --output_dir参数会奉告它在哪里找到 SavedModel 以及输出转化后的 SavedModel,而--tag_set 则让它知道该转化 SavedModel 中的哪张图表。随后,咱们经过在指令行中传递 tens逾组词orrt 并指定装备,清晰指示其运转 TF-TRT 转化器:

如此前相同简略,咱们现在只需为模型指定正确的目录,便能运用 Docker 供给经 TF-TRT 转化的模型:

$ docker run --rm --runtime=nvidia -p 8501:8501

--name tfserving_resnet

-v /tmp/resnet_trt:/models/resnet

-e MODEL_NAME=resnet

-t tensorflow/serving:latest-gpu &

… server.cc:313] Running gRPC ModelServer at 0.0.0.0:8500 …

… se荣耀帝国rver.cc:333] Exporting HTTP/REST API at:localhost:8501 …

之后向它发送请出彩我国人龙拳小子求:

$ python /tmp/resnet/resnet_client.py

Prediction class: 286, avg latency: 15.0287 ms

最终,中止运转容器:

$ docker kill tfserving_杀人鼩resnet

咱们能够看到,运用 TensorFlow Serving 和 Docker 生成经 TF-TRT 转化的模型与创立一个一般的模型相同简略。此外,作为一次演示,上文中的功能数值仅适用于咱们所运用的模型和运转该事例的设备,不过它确实体现出运用 TF-TRT 所带来的功能优势。

接下来就轮到 TensorFlow 2.0 来完成 TF-TRT 了,而 TensorFlow 团队和 NVIDIA 也正在协作以保证 TF-TRT 能在 2孤寂沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,属相守护神.0 中流通运转。咱们可前往 TF-TRT 的孤寂沙洲冷,业界 | TensorFlow 携手 NVIDIA,运用 TensorRT 优化 TensorFlow Serving ,属相守护神 Github 开源项目(https://github.com/tensorflow/tensorrt),检查更全面的信息。

via:https://medium.com/tensorflow/optimizing-tensorflow-serving-performance-with-nvidia-tensorrt-6d8a2347869a

点击阅览原文,检查 TensorFlow 2.0 新特性来啦,部分模型、库和 API 现已能够运用

PC 科技
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
重生之黄埔军魂

文章推荐:

高庚杓,论文格式,三星堆-电子信息大全,手机科技发展新趋势

海安天气,迪丽热巴,麻城天气预报-电子信息大全,手机科技发展新趋势

威朗,12308,肝硬化可以治愈吗-电子信息大全,手机科技发展新趋势

java面试题,露华浓,胸罩-电子信息大全,手机科技发展新趋势

origin下载,西双版纳景点,恶魔高校第三季-电子信息大全,手机科技发展新趋势

文章归档