开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何导出tf模型以便直接从会话中提供服务(不创建tf检查点)以最小化导出时间

在TensorFlow中，可以使用SavedModel格式来导出tf模型以便直接从会话中提供服务，而无需创建tf检查点。SavedModel是一种可移植的模型格式，可以在不同的平台和环境中使用。

以下是导出tf模型的步骤：

定义和训练模型：首先，您需要定义和训练您的TensorFlow模型。这包括定义模型的结构、选择适当的优化器和损失函数，并使用训练数据对模型进行训练。
创建SavedModel：一旦您的模型训练完成，您可以使用tf.saved_model.builder.SavedModelBuilder类来创建SavedModel。这个类提供了一个保存模型的接口，可以将模型保存到磁盘上的指定目录。
创建SavedModel：一旦您的模型训练完成，您可以使用tf.saved_model.builder.SavedModelBuilder类来创建SavedModel。这个类提供了一个保存模型的接口，可以将模型保存到磁盘上的指定目录。
在上面的代码中，您需要根据您的模型定义输入和输出的Tensor对象，并使用tf.saved_model.signature_def_utils.build_signature_def函数定义模型的签名。然后，使用builder.add_meta_graph_and_variables方法将模型的元图和变量添加到SavedModelBuilder对象中。最后，使用builder.save方法将SavedModel保存到磁盘上的指定目录。
加载SavedModel并提供服务：一旦您导出了SavedModel，您可以使用tf.saved_model.loader.load函数加载SavedModel，并使用加载的模型提供服务。
加载SavedModel并提供服务：一旦您导出了SavedModel，您可以使用tf.saved_model.loader.load函数加载SavedModel，并使用加载的模型提供服务。
在上面的代码中，您可以使用tf.saved_model.loader.load函数加载SavedModel，并使用meta_graph_def.signature_def获取模型的签名。然后，您可以使用签名中定义的输入和输出的Tensor对象来提供服务。通过将输入数据传递给模型的输入Tensor对象，您可以使用sess.run方法获取模型的输出。

通过以上步骤，您可以导出tf模型以便直接从会话中提供服务，而无需创建tf检查点。请注意，这只是导出tf模型的一种方法，具体的实现可能因您的模型结构和需求而有所不同。

推荐的腾讯云相关产品：腾讯云AI智能图像服务（https://cloud.tencent.com/product/ai_image）

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

tensoflow serving 实战之GAN 识别门牌号的识别服务接口

作为输出，有10个对应于从0到9的数字的预测信心分数。让TensorFlow在Docker容器中服务我的模型创建客户端以请求数字图像的分数您可以在我的GitHub信息库中找到实现细节。...主要步骤是：训练模型保存磁盘上的检查点 加载保存的模型并测试它是否正常工作导出模型为Protobuf格式（详情如下）创建客户端发出请求（下一部分的细节）对于正在使用TensorFlow创建Deep...但是最后两个步骤对我来说是相当新的，我花了一些时间来了解它的工作原理和所需要的。 TensorFlow服务。它是什么？ TensorFlow服务实现运行机器学习模型的服务器，并提供对它们的远程访问。...相反，我们需要创建一个可以通过GRPC进行通信的客户端 TensorFlow服务已经为存储为Protobuf的模型提供了操作您可以创建自己的实例来处理以其他格式存储的模型所以我需要将我的模型导出到Protobuf...然后我可以使用该图像张量作为我的GAN模型的输入，创建会话对象并加载保存的检查点。 ......

5903 0

面向机器智能的TensorFlow实践：产品环境中模型的部署

它将依据可从/tmp/inception-v3中提取到的检查点文件在/tmp/inception-v3/{current_timestamp}/ 中创建导出器。...注意，首次运行它时需要花费一些时间，因为它必须要对TensorFlow进行编译。定义服务器接口接下来需要为导出的模型创建一个服务器。...这可通过一个SessionBundle对象来实现，该对象是从导出的模型创建的，它包含了一个带有完全加载的数据流图的TF会话对象，以及带有定义在导出工具上的分类签名的元数据。...为了从导出的文件路径创建SessionBundle对象，可定义一个便捷函数，以处理这个样板文件： #include #include #include <string...本文小结在本文中，我们学习了如何将训练好的模型用于服务、如何将它们导出，以及如何构建可运行这些模型的快速、轻量级服务器；还学习了当给定了从其他App使用TensorFlow模型的完整工具集后，如何创建使用这些模型的简单

2.1K6 0

tf.train

要更新的变量，以最小化损失。默认值为key GraphKeys.TRAINABLE_VARIABLES下的图表中收集的变量列表。gate_gradients: 如何对梯度计算进行gate。...如果你希望稍后分析一个模型在长时间的训练过程中是如何进行的，那么这将非常有用。例如，传递keep_checkpoint_every_n_hours=2可以确保每2小时的培训中保留一个检查点文件。...它需要启动图表的会话。要保存的变量也必须已初始化。该方法返回新创建的检查点文件的路径前缀。这个字符串可以直接传递给restore()调用。参数：sess:用于保存变量的会话。...为检查点创建的文件名的前缀。global_step:如果提供了全局步骤号，则将其附加到save_path以创建检查点文件名。可选参数可以是张量、张量名或整数。...如果给定一个协调器，此方法将启动一个附加线程，以便在协调器请求停止时关闭队列。如果先前为给定会话创建的线程仍在运行，则不会创建任何新线程。参数：sess:一个会话。

3.6K4 0

tf.estimator

class BestExporter: 该类导出最佳模型的服务图和检查点。class BoostedTreesClassifier: 一个用于张量流增强树模型的分类器。...class FinalExporter: 该类在末尾导出服务图和检查点。class FinalOpsHook: 在会话结束时计算张量的钩子。...class LatestExporter: 该类定期导出服务图和检查点。class LinearClassifier: 线性分类器模型。...class SessionRunArgs: 表示要添加到会话.run()调用中的参数。class SessionRunContext: 提供有关正在执行的session.run()调用的信息。....): 创建一个新的tf.estimator.Estimator，它已经给出了度量。classifier_parse_example_spec(...): 为tf生成解析规范。

1.4K3 0

TensorFlow 2.0 的新功能

TensorFlow 2.0 在默认情况下以 eager execution 方式运行，以便于使用和顺利调试。...一旦您训练并保存了模型，就可以直接在应用程序中执行它，或者使用以下部署库之一为它提供服务： TensorFlow Serving：TensorFlow 库允许模型通过 HTTP / REST 或 gRPC...为研究提供强大的实验工具 TensorFlow 使从概念到代码、从模型到发布的新思想变得容易。...TensorFlow 2.0 集成了许多功能，可以在不牺牲速度或性能的情况下定义和训练最新模型： Keras Functional API 和 Model Subclassing API：允许创建复杂的拓扑...我们将在最后的 1.x 版本中提供 12 个月的安全补丁，以便为现有用户提供充足的时间进行过渡并获得 TensorFlow 2.0 的所有优势。

8841 0

TensorFlow 2.0 新功能 | 官方详解

TensorFlow 2.0 在默认情况下以 eager execution 方式运行，以便于使用和顺利调试。...一旦您训练并保存了模型，就可以直接在应用程序中执行它，或者使用以下部署库之一为它提供服务： TensorFlow Serving：TensorFlow 库允许模型通过 HTTP / REST 或 gRPC...为研究提供强大的实验工具 TensorFlow 使从概念到代码、从模型到发布的新思想变得容易。...TensorFlow 2.0 集成了许多功能，可以在不牺牲速度或性能的情况下定义和训练最新模型： Keras Functional API 和 Model Subclassing API：允许创建复杂的拓扑...我们将在最后的 1.x 版本中提供 12 个月的安全补丁，以便为现有用户提供充足的时间进行过渡并获得 TensorFlow 2.0 的所有优势。

1.1K3 0

官方解读：TensorFlow 2.0中即将到来的所有新特性

尽管这个 API 支持多种群集配置，但提供了在本地或云环境中的 Kubernete 集群上部署训练的模板。导出至 SavedModel。...TensorFlow.js 在 web 浏览器或服务器端部署模型，还支持在 JavaScript 中定义模型和在 web 浏览器中使用类似 Keras 的 API 直接训练模型。...为研究提供强大的实验工具 TensorFlow 使得从概念到代码和从模型到出版物中获取新想法变得更加容易。...TensorFlow 2.0 结合了很多功能，能够在不牺牲速度或性能的情况下定义和训练最先进的模型： Keras Functional API 和 Model Subclassing API：允许创建复杂的拓扑...然而，2.0 中的更改意味着原始检查点中的变量名可能会更改，所以使用 2.0 之前的检查点而代码已转化为 2.0 时，可能无法保证有效。

7703 0

官方解读：TensorFlow 2.0中即将到来的所有新特性

尽管这个 API 支持多种群集配置，但提供了在本地或云环境中的 Kubernete 集群上部署训练的模板。导出至 SavedModel。...TensorFlow.js 在 web 浏览器或服务器端部署模型，还支持在 JavaScript 中定义模型和在 web 浏览器中使用类似 Keras 的 API 直接训练模型。...为研究提供强大的实验工具 TensorFlow 使得从概念到代码和从模型到出版物中获取新想法变得更加容易。...TensorFlow 2.0 结合了很多功能，能够在不牺牲速度或性能的情况下定义和训练最先进的模型： Keras Functional API 和 Model Subclassing API：允许创建复杂的拓扑...然而，2.0 中的更改意味着原始检查点中的变量名可能会更改，所以使用 2.0 之前的检查点而代码已转化为 2.0 时，可能无法保证有效。

8282 0

谷歌推出TF-Ranking：用于排序算法的可扩展TensorFlow库

TF-Ranking速度较快且易于使用，而且还可以创建高质量的排名模型。统一的框架使ML研究人员、从业者和爱好者能够在单个库中评估和选择一系列不同的排名模型。...现有的算法和度量支持 Learning to Rank算法的目标是最小化在项目列表上定义的损失函数，以优化任何给定应用程序的列表排序的效用。...为了让这些复杂性对用户透明，TF- Ranking提供了一个List-In-List-Out (LILO) API，将所有这些逻辑包装在导出的TF模型中。 ?...TF-Ranking库集成了直接度量优化的最新进展，并提供了LambdaLoss的实现。...开始用TF-Ranking吧！ TF-Ranking实现了TensorFlow Estimator接口，通过封装训练、评估、预测和导出服务，大大简化了机器学习编程。

7143 0

资源 | TensorFlow极简教程：创建、保存和恢复机器学习模型

如何实际保存和加载保存（saver）对象可以使用 Saver 对象处理不同会话（session）中任何与文件系统有持续数据传输的交互。...可以指定要计算的 TF 服务器或「目标」。图（graph）：你希望会话处理的图。...这意味着「恢复」操作必须能够访问会话以恢复图内的权重。理解恢复操作的最好方法是将其简单地当作一种初始化。...你可能希望保存超参数和其它操作，以便之后重新启动训练或重复实现结果。这正是 TensorFlow 的作用。在这里，检查点文件的三种类型用于存储模型及其权重有关的压缩后数据。...TF 自带多个方便的帮助方法，如：在时间和迭代中处理模型的不同检查点。它如同一个救生员，以防你的机器在训练结束前崩溃。

1K7 0

动态 | 谷歌开源 TF-Ranking：专用于排序学习的可扩展 TensorFlow 库

TF-Ranking 快速且易用，并能创建高质量的排序模型。该统一框架让机器学习研究人员、实践者和爱好者能够在单个库中评估和选择一系列不同的排序模型。...现有算法和指标支持排序学习算法的目标是最小化在项目列表上定义的损失函数，以优化任意给定请求的排序。...不同的方法可直接在仪表板上进行比较，并基于指标选出最佳模型。...TF-Ranking 提供了一个 List-In-List-Out（LILO）API，来将所有这些逻辑放入导出的 TF 模型中。 ?...开启 TF-Ranking 的使用 TF-Ranking 实现了 TensorFlow Estimator 接口，它通过封装训练、评估、预测和导出服务，可以大大简化机器学习编程。

9123 0

动态 | TensorFlow 2.0 新特性来啦，部分模型、库和 API 已经可以使用

还支持从内存（例如 Numpy）方便地输入数据。使用 tf.keras 构建、训练和验证您的模型，或者使用 Premade Estimators 来验证您的模型。...在任何平台上的生产中进行强大的模型部署一直以来，TensorFlow 为生产提供了直接途径。...一旦您训练并保存了模型，就可以直接在应用程序中执行它，或者使用部署库为其提供服务： TensorFlow 服务（https://www.tensorflow.org/tfx/serving/）：允许模型通过...强大的研究实验 TensorFlow 2.0 包含了许多功能，可以在不牺牲速度或性能的情况下定义和训练最先进的模型： Keras 功能 API 和 Model Subclassing API：允许创建复杂的拓扑结构...但是，2.0 版本中的变更将意味着原始检查点中的变量名可能会更改，因此使用 2.0 版本之前的检查点（代码已转换为 2.0 版本）并不保证能正常工作。

1.1K4 0

Keras作为TensorFlow的简化界面：教程

Keras层和模型完全兼容纯TensorFlow张量，因此，Keras为TensorFlow提供了一个很好的模型定义附加功能，甚至可以与其他TensorFlow库一起使用。让我们看看这是如何做的。...我们应该首先创建一个TensorFlow会话并注册到Keras。这意味着Keras将使用我们注册的会话来初始化它在内部创建的所有变量。...当您在张量上调用模型时，您将在输入张量之上创建新的TF op，并且这些op将重新使用Variable已存在于模型中的TF实例。...IV：用TensorFlow-serving导出模型 TensorFlow Serving是由Google开发的用于在生产环境中提供TensorFlow模型的库。...任何Keras模型都可以使用TensorFlow服务（只要它只有一个输入和一个输出，这是TF服务的限制）导出，不管它是否作为TensorFlow工作流的一部分进行训练。

4K10 0

TensorFlow 2.0 的新增功能：第一、二部分

这意味着当实际请求数量时，该值从内存中返回，而不是从头开始计算。这有助于最小化返回查询结果所需的时间，因为用户不必等待计算值所花费的时间。...它描述了如何集成输入数据管道，创建基于tf.keras的模型，以分布式方式进行训练以及运行验证以微调模型的超参数。它还涉及有关如何导出和保存 TensorFlow 模型以进行部署和推理的各种概念。...tf.keras还无缝支持导出训练有素的模型，这些模型可以使用 TensorFlow 服务和其他技术在 TensorFlow Lite 的移动和嵌入式设备上进行服务和部署。...这为用户提供了灵活性，允许从先前的检查点恢复训练，并且避免完全重新启动模型的训练以减少较长的训练时间。此外，这些保存的模型可以在团队之间共享以进行进一步的工作。...我们可以使用它来快速查看模型结构的概念图以验证其设计或查看操作级图以了解 TensorFlow 如何理解和执行程序。检查操作级图还可以深入了解如何重新设计模型以获得更佳的运行时间。

3.6K1 0

高效的TensorFlow 2.0：应用最佳实践以及有什么变化

相比之下，TensorFlow 2.0立即执行（就像Python通常做的那样），在tf 2.0中，图形和会话感觉更像实现细节。...调用 tf.Variable() 时，它会被放入默认图形中，它会保留在那里，即使忘记了指向它的Python变量。然后，您可以恢复该 tf.Variable ，但前提是您知道它已创建的名称。...使用Keras图层和模型来管理变量 Keras模型和图层提供方便的变量和 trainable_variables 属性，以递归方式收集所有关联变量，这样可以轻松地将变量本地管理到它们的使用位置。...Keras层/模型继承自tf.train.Checkpointable并与@ tf.function集成，这使得直接获得检查点或从Keras对象导出SavedModel成为可能。...组合tf.data.Datasets和@tf.function 迭代加载到内存的训练数据时，可以随意使用常规的Python迭代。否则，tf.data.Dataset是从磁盘传输训练数据的最佳方式。

8433 0

TensorFlow 1.2.0新版本发布：新增Intel MKL优化深度学习基元

在这一新版本中，TensorFlow新增Intel MKL优化深度学习基元，实现了对Windows系统上对Python 3.6的支持，发布了开源版的TensorBoard，并进行了大量的命名修改，以实习同一模块内命名的一致性...◆ TensorForest Estimator现在支持SavedModel导出 ◆ 支持用户提供的ClusterSpec，并把他们扩散给了所有工作者，从而建立动态TensorFlow集群 ◆ TensorFlow...这可能会与你之前设置的包含这类RNNCell的检查点（checkpoint）反馈不兼容，在这种情况下你可以用checkpoint_convert script来修改旧变量名。...它们会被慢慢移入tf.contrib.rnn的弃用项（deprecation）中。...除了矩阵乘法和卷积以外，这些组成模块还包括了：直接的批量卷积（Direct batched convolution）池化：最大化、最小化和平均数（Pooling: maximum, minimum,

1.4K4 0

如何将自己开发的模型转换为TensorFlow Lite可用模型

尽管目前还处于早期阶段，但显然谷歌将加速发展TF Lite，持续增加支持并逐渐将注意力从TFMobile转移。考虑到这一点，我们直接选择TFLite, 尝试创建一个简单的应用程序，做一个技术介绍。...这将为您在后面节省一些时间和精力，因此您不必在tensorboard上四处搜索以填写转换工具的某些参数。...这是我创建的一张图表，展示了如何从一个转换到另一个，一步一步解释这中间涉及到的东西。 ? 从MNIST训练脚本中，我们得到文本可读形式(.pbtxt)的Graph Def、检查点和保存的图形。...如果您没有为创建的模型提供训练脚本，则需要使用Tensorboard并为其找到自动生成的名称（我花了大量时间试图理解这一点，因此简而言之，训练脚本得心应手是一项巨大的奖励）。...转换服务器端模型以实现移动框架兼容性并非易事 - 在移动端机器学习的生命周期中，大量工程师要么停滞不前，要么将大部分时间花在将现有模型转换到移动设备上。

3K4 1

如何确保机器学习最重要的起始步骤"特征工程"的步骤一致性？

特征工程是指从原始数据转换为特征向量的过程。特征工程是机器学习中最重要的起始步骤，会直接影响机器学习的效果，并通常需要大量的时间。典型的特征工程包括数据清理、特征提取、特征选择等过程。...幸运的是，我们现在有了 tf.Transform，这是一个 TensorFlow 库，它提供了一个优雅的解决方案，以确保在训练和服务期间特征工程步骤的一致性。...在这篇文章中，我们将提供在 Google Cloud Dataflow 上使用 tf.Transform，以及在 Cloud ML Engine 上进行模型训练和服务的具体示例。...tf.Transform 导出的 TensorFlow 图形可以在使用训练模型进行预测时复制预处理步骤，比如在使用 TensorFlow Serving 服务模型时。...为此，我们只需要使用 tf.Transform 输入函数导出训练模型： _make_serving_input_fn 函数是一个非常通用的函数，不管项目的逻辑如何，您都可以简单地在不同项目之间重用：使用数字孪生

7202 0

如何确保机器学习最重要的起始步骤特征工程的步骤一致性？

特征工程是指从原始数据转换为特征向量的过程。特征工程是机器学习中最重要的起始步骤，会直接影响机器学习的效果，并通常需要大量的时间。典型的特征工程包括数据清理、特征提取、特征选择等过程。...幸运的是，我们现在有了 tf.Transform，这是一个 TensorFlow 库，它提供了一个优雅的解决方案，以确保在训练和服务期间特征工程步骤的一致性。...在这篇文章中，我们将提供在 Google Cloud Dataflow 上使用 tf.Transform，以及在 Cloud ML Engine 上进行模型训练和服务的具体示例。...tf.Transform 导出的 TensorFlow 图形可以在使用训练模型进行预测时复制预处理步骤，比如在使用 TensorFlow Serving 服务模型时。...导出训练的模型在分析数据集的结构化方法旁边，tf.Transform 的实际功能在于可以导出预处理图。您可以导出 TensorFlow 模型，该模型包含与训练数据完全相同的预处理步骤。

1.1K2 0

教程 | 用TensorFlow Estimator实现文本分类

由于这个模型并不关心句子中单词的顺序，所以我们通常把它称为词袋方法（BOW）。让我们看看如何通过评估器（Estimator）实现这个模型。我们从定义用做我们分类器输入的特征列开始。...一个模型越复杂，他就越难被检验，并且更容易像一个黑箱子一样工作。在这个例子中，我们可以从我们模型的上一个检查点装载权重，并且看看哪些单词相应的权重的绝对值最大。结果看起来就像我们所期望的那样。...操作，能够很方便地处理检查点、加载数据、初始化、服务、构建计算图（graph）和会话（session）。...模型头「head」已经知道如何计算预测值、损失、训练操作（train_op）、度量并且导出这些输出，并且可以跨模型重用。...如果有兴趣将模型以一种完全可恢复的方式导出，可以查看「SaveModel」类，这对于通过使用 TensorFlow Serving 提供的 API 构建模型十分有用。

1.3K3 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭