tf-serving - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

【工程】深度学习模型部署的那些事儿

那这个TF-Serving是什么样的呢？...先来看看基于TF-Serving后最终整个流程是怎么工作的：如图，在TF-Serving流程上一般会用到两台机器（或更多），其中一台作为TF-Serving的服务器，专门给模型用来部署并预测...不过TF-Serving一个很大的坑在于：数据预处理的部分需要交给应用服务做，TF-Serving只接收张量输入，如文本分类的模型，它就只接收序列的id，而非句子本身，并且输出返回的是id而非文本化的标签...每个对外服务调用模型需要配置专门的逻辑：从GPU服务器取Embedding，作为输入给TF-Serving，才能得到TF-Serving的输出。...这样，方案四既拥有了方案三速度最快的优点，也避免了TF-Serving需要做输出输出转换，以及在TF-Serving与GPU Embedding服务器中来回跑的缺点。

1.7K1 0

基础服务系列-安装TensorFlow Serving

启动镜像 docker run -t --rm -p 8501:8501 \ -v "/root/tf-serving/serving/tensorflow_serving/servables/

9011 0

您找到你想要的搜索结果了吗？

是的

没有找到

云原生技术开发手册(新坑~待填)

灰度发布分布式追踪监控系统：Prometheus Prometheus架构搭建Prometheus系统监控应用程序机器学习工具集Kubeflow kubeflow核心组件 TFJob 模型部署：TF-Serving

6982 0

深度学习四大名著之《机器学习实战：基于Scikit-Learn、Keras和TensorFlow》第二版

：无监督学习，训练深度网络，计算机视觉，序列处理，自然语言处理；覆盖更多的库和API（Keras，Data API，TF-Agents），使用Distribution Strategies API、TF-Serving

22.2K8 5

微信AI的语音合成技术，让“读”书更尽兴

TFCC 在将深度学习模型应用于工程服务中，我们往往会遇到以下几个问题：模型多为python实现，而在线服务为c++，因此需要实现c++ - python的通信；使用TF-serving的时候可能会遇到...protobuf版本不兼容的问题，因此即使使用tf-serving依然需要将模型的inference放在一个单独的进程中；不同业务用法不尽相同，增加了运维部署及扩容的成本与风险；当业务需要在同一台机器部署多个模型时

2.8K4 1

有赞算法平台之模型部署演进

3 个模块: master、 worker 和 manager，各自主要职责为： master：业务请求的路由根据 zookeeper 上的动态路由选择将请求直接路由给可以访问的服务（这里包括TF-Serving...在模型预测前和预测后可以加载自定义处理逻辑，可以对模型的输入数据和输出数据进行预处理 worker: 注册本机信息，负责上报心跳给 manager, 心跳包含本机上的算法服务的健康状态负责算法模型的本地拉取，由 tf-serving

1.5K3 3

代码+实战：TensorFlow Estimator of Deep CTR —— DeepFMNFMAFMFNNPNN

首先要导出 TF-Serving 能识别的模型文件 python DeepFM.py --task_type=export --learning_rate=0.0005 --optimizer=Adam...15ms：对应解析请求包，查询redis/tair，转换特征格式以及打log等斜率部分0.5ms：一条样本forward一次需要的时间一个比较有意思的现象是：随着进一步放量，平均时耗不升反降，怀疑 TF-Serving

5.9K9 1

广告行业中那些趣事系列15：超实用的基于BERT美团搜索实践

训练好的模型可以实现一键上线，有效的提升了模型的实验效率； TF-Serving在线模型服务：这里主要使用TF-Serving的方式部署BERT线上推理模型、排序模型等，支持Faster Transformer...通过模型在线预估框架、搜索模型实验平台和TF-Serving在线模型服务很好的实现了排序服务架构优化。整个架构非常具有参考价值，也可以看出美团深厚的技术底蕴，这里不得不服。 6.

7014 0

kubeflow系列(二)：kubeflow组件介绍

volumes: - name: local-storage persistentVolumeClaim: claimName: mnist-test-pvc tf-serving

3.9K6 1

精炼鉴黄师背后的故事

AI鉴黄师界面其背后使用的是tf-serving技术，有关tf-serving的方法，也可以在《深度学习之TensorFlow：工程化项目实战》一书中找到教程和对应的代码实例。

4.1K2 0

Kubeflow 部署采坑记录

/mpi-job ks pkg install kubeflow/pytorch-job ks pkg install kubeflow/seldon ks pkg install kubeflow/tf-serving

2.7K2 0

Keras 3.0一统江湖！大更新整合PyTorch、JAX，全球250万开发者在用了

这意味着开发者可以将Keras 3模型与PyTorch生态系统包，全系列TensorFlow部署和生产工具（如TF-Serving，TF.js和TFLite）以及JAX大规模TPU训练基础架构一起使用。

9611 0

tensorflow+入门笔记︱基本张量tensor理解与tensorflow运行结构与相关报错

Keras的用户可以更快的在TensorFlow的框架下做出相应地模型，能更方便地进行分布式训练，使用Google的Cloud ML，进行超参，还有更更重要的：TF-Serving 5、分布式TensorFlow

1.4K1 0

Kubernetes 预测性集群伸缩

其实这应该不算缺点，这是标准的，它可以通过 tf-serving 部署。所以如果我们把接口统一成 PB 的话，那预测模型就不需要修改，我们只要统一 Model 接口。

1K2 0

微信「看一看」推荐排序技术揭秘

模型过渡到深度模型后，预测的耗时大大增加，第一版采用 tf-serving 的模型，虽然取得了不错的效果，但是耗时接近 1 秒，完全没办法全量。

3.3K27 19

实践演练Pytorch Bert模型转ONNX模型及预测

这个领域最常用的编程语言就是C++，比如TensorFlow配套的TF-Serving。

3.6K9 0

谷歌开源、高性能RPC框架：gRPC 使用体验

作者：datumhu，腾讯 IEG 后开开发工程师在广告系统实践中，精排服务基于 gRPC 协议调用 TF-Serving 在线推理服务。

2K2 0

PyTorch与TensorFlow深度学习框架比较研究详解

4.8 部署总结 TensorFlow 部署工具链广度与整合深度兼具，从 TFLite、TF.js 到 TF-Serving，无缝衔接模型从实验室到生产环境全链路，尤其在多样异构环境优势尽显。

3.1K1 0

TensorFlow-dev-summit：那些TensorFlow上好玩的和黑科技

所以之后Keras的用户可以更快的在TensorFlow的框架下做出相应地模型，能更方便地进行分布式训练，使用Google的Cloud ML，进行超参，还有更更重要的：TF-Serving。

7422 0

一文揭秘微信游戏推荐系统

深度学习方面，核心是打通数据流程，训练和线上预测都依托 tensorflow 和 tf-serving 通用框架，本文接下来也会详细介绍整体流程。

2.3K6 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭