开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

附加标记tf.function时，Tensorflow while_loop抛出错误

附加标记tf.function时，TensorFlow while_loop抛出错误是由于tf.function的编译机制导致的。tf.function是TensorFlow中的一个装饰器，用于将Python函数转换为高性能的TensorFlow图形计算。在使用tf.function装饰器时，TensorFlow会将函数的计算图编译为可优化的计算图，以提高计算效率。

然而，在某些情况下，使用tf.function装饰器可能会导致while_loop抛出错误。这是因为while_loop是TensorFlow的动态控制流操作，而tf.function会将函数的计算图静态化，无法处理动态控制流操作。

为了解决这个问题，可以考虑以下几种方法：

使用tf.while_loop替代while_loop：tf.while_loop是TensorFlow中的动态控制流操作，可以在tf.function中使用。将while_loop替换为tf.while_loop可以避免错误的抛出。
使用tf.autograph转换while循环：tf.autograph是TensorFlow中的自动图形转换工具，可以将Python控制流语句转换为TensorFlow图形计算。通过使用tf.autograph将while循环转换为图形计算，可以在tf.function中使用while循环而不会抛出错误。
将while循环移出tf.function：如果while循环的计算量较小，可以考虑将while循环移出tf.function，直接在Python函数中执行。这样可以避免tf.function的静态化，从而避免错误的抛出。

总结起来，附加标记tf.function时，TensorFlow while_loop抛出错误是由于tf.function的静态化机制无法处理动态控制流操作所致。可以通过使用tf.while_loop、tf.autograph转换或将while循环移出tf.function来解决该问题。

推荐的腾讯云相关产品：腾讯云AI Lab，该产品提供了丰富的人工智能开发工具和服务，包括自然语言处理、图像识别、语音识别等，可用于开发和部署各种人工智能应用。产品介绍链接地址：https://cloud.tencent.com/product/ailab

相关搜索:加载链接时tensorflow_hub抛出此错误：'SentencepieceOp‘Atlassian API在API中附加文件时抛出错误添加时抛出标记错误，该如何解决？传递标记为@JsonIgnore的属性时出现抛出错误接下来(iter())是在python中使用tensorflow创建数据集时抛出错误在TensorFlow2.0中尝试应用SeparableConv2D层时，Colab抛出错误 preventDefault()仅在标记完成事件(D365统一接口)时抛出错误 linux .免费 linux版本sp linux内存模块

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

TensorFlow 分布式之 ClusterCoordinator

如果任何先前安排的函数出现错误，schedule 将抛出其中任何一个错误，并清除到目前为止收集的错误。...，join 将因为抛出一个错误而失败，并清除到目前为止收集的错误。...当 join 返回或抛出异常时，它保证没有任何函数仍在执行。...当这个环境变量设置为正整数 K 时，协调器忽略最多 K 个失败报告，也就是说，只有超过 K 个执行错误，并且这些错误是因为同一个参数服务器实例导致的，我们才认为参数服务器实例遇到了失败。...当一个错误被抛出时，不保证有多少先前安排的功能被执行；没有被执行的功能将被丢弃并被标记为取消。在一个错误被抛出后，错误的内部状态将被清除。

7333 0

我们期待的TensorFlow 2.0还有哪些变化？

不再有全局变量 TensorFlow 1.X 非常依赖于隐式全局命名空间。当你调用 tf.Variable 时，它会被放入默认图中，即使你忘记了指向它的 Python 变量它也会留在那里。...在 TensorFlow 2.0 中，您可以使用 tf.function() 来修饰 Python 函数以将其标记为 JIT（ Just-In-Time ）编译，以便 TensorFlow 将其作为单个图运行...避免用户在添加 @tf.function 时重写代码，AutoGraph 会将 Python 构造的一个子集转换成 TensorFlow 等价物。...通常情况下，没有必要用 tf.function 来修饰这些较小的函数；仅使用 tf.function 来修饰高级计算 — 例如，使用只有一个步骤的训练或使用模型的正向传递，将代码重构为更小的函数。...结合 tf.data.Datasets 和 @tf.function 在迭代适合内存的训练数据时，可以使用常规的 Python 循环。

1.1K3 0

我们期待的TensorFlow 2.0还有哪些变化？

不再有全局变量 TensorFlow 1.X 非常依赖于隐式全局命名空间。当你调用 tf.Variable 时，它会被放入默认图中，即使你忘记了指向它的 Python 变量它也会留在那里。...在 TensorFlow 2.0 中，您可以使用 tf.function() 来修饰 Python 函数以将其标记为 JIT（ Just-In-Time ）编译，以便 TensorFlow 将其作为单个图运行...避免用户在添加 @tf.function 时重写代码，AutoGraph 会将 Python 构造的一个子集转换成 TensorFlow 等价物。...通常情况下，没有必要用 tf.function 来修饰这些较小的函数；仅使用 tf.function 来修饰高级计算 — 例如，使用只有一个步骤的训练或使用模型的正向传递，将代码重构为更小的函数。...结合 tf.data.Datasets 和 @tf.function 在迭代适合内存的训练数据时，可以使用常规的 Python 循环。

8716 0

高效的TensorFlow 2.0：应用最佳实践以及有什么变化

减少全局变量 TensorFlow 1.X严重依赖于隐式全局命名空间。调用 tf.Variable() 时，它会被放入默认图形中，它会保留在那里，即使忘记了指向它的Python变量。...在TensorFlow 2.0中，您可以使用 tf.function() 来修饰Python函数以将其标记为JIT编译，使得TensorFlow将其作为单个图运行（Functions 2.0 RFC）。...凭借自由分发Python和TensorFlow代码的能力，您可以充分利用Python的表现力。但是，便携式TensorFlow在没有Python解释器上下文时执行 - 移动、C++和JS。...为了帮助用户避免在添加@tf.function时重写代码， AutoGraph 会将部分Python构造转换为他们的TensorFlow等价物。...组合tf.data.Datasets和@tf.function 迭代加载到内存的训练数据时，可以随意使用常规的Python迭代。否则，tf.data.Dataset是从磁盘传输训练数据的最佳方式。

8453 0

有了TensorFlow2.0，我手里的1.x程序怎么办？

四、将 1.x 的动态图代码升级到 2.x 版本在 TensorFlow 2.x 版本中，已经将动态图设为了默认的工作模式。使用动态图时，直接编写代码即可。...在 TensorFlow 1.x 版本中，要开发基于张量控制流的程序，必须使用 tf.conf、tf. while_loop 之类的专用函数。这增加了开发的复杂度。...在 TensorFlow 2.x 版本中，可以用 tf.function 装饰器修饰 Python 函数，将其自动转化成张量运算图。...示例代码如下： import tensorflow as tf # 导入 TensorFlow2.0 @tf.function def autograph(input_data):...这表明被装饰器 tf.function 修饰的函数具有张量图的控制流功能。在使用自动图功能时，如果在被修饰的函数中有多个返回分支，则必须确保所有的分支都返回相同类型的张量，否则会报错。

4.6K1 0

都在关心TensorFlow2.0，那么我手里的1.x程序怎么办？

如果选择1.x版本进行开发时，尽量使用TensorFlow 1.13.1、1.14版本为主。因为TensorFlow 2.x版本的代码是基于TensorFlow 1.13.1转化而来。...在TensorFlow 1.x版本中，要开发基于张量控制流的程序，必须使用tf.conf、tf. while_loop之类的专用函数。这增加了开发的复杂度。...在TensorFlow 2.x版本中，可以用tf.function装饰器修饰Python函数，将其自动转化成张量运算图。...示例代码如下： import tensorflow as tf #导入TensorFlow2.0 @tf.function def autograph(input_data):#用自动图修饰的函数...这表明被装饰器tf.function修饰的函数具有张量图的控制流功能。在使用自动图功能时，如果在被修饰的函数中有多个返回分支，则必须确保所有的分支都返回相同类型的张量，否则会报错。

11.2K3 4

官方解读：TensorFlow 2.0中即将到来的所有新特性

用 eager execution 运行和调试，然后在图形上使用 tf.function。TensorFlow 2.0 默认用 eager execution 运行，以便于轻松使用和顺利调试。...此外，tf.function 注释透明地将 Python 程序转换成 TensorFlow 图。...TensorFlow 2.0 新添了一些附加功能，让研究人员和高级用户可以使用丰富的插件来进行实验，如 Ragged Tensors、TensorFlow Probability、Tensor2Tensor...将会有一个转化工具来更新 TensorFlow 1.x Python 代码，以使用 TensorFlow 2.0 兼容的 API，或标记代码无法自动转换的情况。...然而，2.0 中的更改意味着原始检查点中的变量名可能会更改，所以使用 2.0 之前的检查点而代码已转化为 2.0 时，可能无法保证有效。

7733 0

官方解读：TensorFlow 2.0中即将到来的所有新特性

用 eager execution 运行和调试，然后在图形上使用 tf.function。TensorFlow 2.0 默认用 eager execution 运行，以便于轻松使用和顺利调试。...此外，tf.function 注释透明地将 Python 程序转换成 TensorFlow 图。...TensorFlow 2.0 新添了一些附加功能，让研究人员和高级用户可以使用丰富的插件来进行实验，如 Ragged Tensors、TensorFlow Probability、Tensor2Tensor...将会有一个转化工具来更新 TensorFlow 1.x Python 代码，以使用 TensorFlow 2.0 兼容的 API，或标记代码无法自动转换的情况。...然而，2.0 中的更改意味着原始检查点中的变量名可能会更改，所以使用 2.0 之前的检查点而代码已转化为 2.0 时，可能无法保证有效。

8302 0

深度学习分布式训练框架 horovod (17) --- 弹性训练之容错

大致翻译如下：对于出错状态下，在worker进程出现 HorvodInternalError 错误或者 HostsUpdateInterrupt 节点增删时，会捕获这两个错误，调用 reset 来进行容错处理...import tensorflow as tf import horovod.tensorflow as hvd hvd.init() @tf.function def train_one_batch...HorovodInternalError(e) return run_fn(wrapper, _reset) 2.3 HostsUpdatedInterrupt 从前文我们知道：当驱动进程通过节点发现脚本发现一个节点被标记为新增或者移除时...是 worker 们一起抛出异常吗？是一起抛出。...如果训练出错，则都会抛出异常当驱动进程通过节点发现脚本发现一个节点被标记为新增或者移除时，它将发送一个通知到所有workers，在下一次 state.commit() 或者更轻量的 state.check_host_updates

1.1K3 0

TensorFlow 2.0 的新增功能：第三、四部分

在执行用户代码时利用某些好处：并行性：将模型表示为有向图可以使 TensorFlow 识别哪些操作相互依赖，哪些不依赖。...让我们完全使用 Pythonic 语法实现它，然后使用tf.function将其转换为本地 TensorFlow 计算图代码： @tf.function def sum_of_cubes(numbers...我们修改后的代码片段（带有实现错误检查的功能）现在看起来像这样： @tf.function(input_signature=[tf.TensorSpec(shape=None, dtype=tf.float32...当 TensorFlow.js 与 Node.js 相遇时 TensorFlow.js 的引入使在 JavaScript 环境中运行 TensorFlow 模型成为可能。...当前正在开发的另一个主要附加功能是tf-agents模块。该模块将核心强化学习算法实现为智能体，该算法定义了与环境进行交互的策略并从集体经验中训练了该策略。

2.3K2 0

文末福利｜一文上手TensorFlow2.0（一）

在TensorFlow1.x版本中，当我们使用TensorFlow低级API进行编程时，我们首先需要定义好计算图，然后创建TensorFlow会话（session）来执行计算图。...为了保留静态图的优势（例如性能优化和可移植性等），TensorFlow2.0提供了“tf.function”方法，使用“tf.function”修饰的python函数，TensorFlow可以将其作为单个图来运行...为了保留静态图的一些优势，例如性能优化以及重用模块化的TensorFlow函数等，在TensorFlow2.0中，我们可以使用“tf.function()”来修饰python函数以将其标记为即时（Just-In-Time...当我们不想从头开始训练一个模型时（例如这个模型的训练可能非常耗时），我们可以使用TensorFlow Hub模块来进行迁移学习。 3....我们可以使用tf.function来将python程序转换为TensorFlow的静态计算图，这样就可以保留TensorFlow1.x版本中的静态计算图的一些优势。 4.

1.3K3 1

TensorFlow2.1正式版上线：最后一次支持Python2，进一步支持TPU

项目地址：https://github.com/tensorflow/tensorflow/releases 对于本次更新的内容，机器之心整理如下：进一步支持 TPU TensorFlow 2.1 最大的亮点在于进一步增加对...标记化、N 元语法生成和词汇检索；允许 Keras .compile、.fit、.evaluate 和.predict 在 DistributionStrategy 范围之外，前提是模型在该范围内构建...Bug 修复 TensorFlow 2.1.0 还修复了以前版本中出现的一些 Bug，整理如下： tf.data 修复当 sloppy=True 时 tf.data.experimental.parallel_interleave...tf.distribute 修复使用 tf.distribute.Strategy 时 GRU 崩溃或输出错误结果的问题。...Model.train_on_batch, Model.test_on_batch 和 Model.predict_on_batch 方法现遵循 run_eagerly 属性，并且在默认情况下，使用 tf.function

1.1K3 0

代码实例：如何使用 Google 近日推出的 TensorFlow 2.0 Preview

去年8月13日，谷歌宣布 “TensorFlow 2.0 is coming”，最近几天，谷歌 TensorFlow 团队刚刚发布了 TensorFlow 2.0 Preview 版，可以来这里查看...TensorFlow 不容易 debug 例如当得到一个错误的结果时，NaN 或异常，它不会告诉你问题的来源，当有很多操作时，调试起来会很棘手，虽然有一个专门的调试器，但并不易使用。 ?...这里面包含一个循环，当 autograph 将这个函数转换成 TensorFlow 版本时，它知道当它在图形模式下运行时，应该创建一个使用 TensorFlow 的 while_loop（）操作的 graph...PyTorch 比较 pythonic，TensorFlow 2.0 也会是 pythonic, object-oriented 以前构建多个模型时，可能会遇到各种名称冲突，需要依赖于 tf.variable_scope...这种设计并不理想，它依赖于附加到图表的一组 collections，并且在程序中使用全局状态是不好的。所以 TensorFlow 2.0 将弃用 collections，代码会更清晰。

1.5K2 0

Sklearn、TensorFlow 与 Keras 机器学习实用指南第三版（九）

分析模型所犯的错误类型：人类会使用什么数据来避免这些错误？进行一轮快速的特征选择和工程。再进行一两次快速迭代，按照之前五个步骤。...当处理大型神经网络时，这使得有限差分逼近方法过于低效。然而，这种方法实现起来非常简单，是检查其他方法是否正确实现的好工具。例如，如果它与您手动推导的函数不一致，那么您的函数可能存在错误。...为了清晰起见，节点标记为n[1]到n[7]。输出节点是n[7]：f(3, 4) = n[7] = 42。图 B-3....101], [99, 97, 102, 102, 232], [21654, 21857], [65, 66], [], [67]]> 结果并不太令人惊讶：r2中的张量是沿着轴 0 在r中的张量之后附加的...counter) # counter is now equal to 1 increment(counter) # counter is now equal to 2 如果查看函数定义，第一个参数被标记为资源

1220 0

TensorFlow 2.0 的新功能

tf.function。...此外，tf.function annotation 透明地将 Python 程序转换成 TensorFlow 图。...TensorFlow 将在 SavedModel 上标准化，作为 TensorFlowServing、TensorFlow Lite、TensorFlow.js、TensorFlow Hub 等的交换格式...，它可以更新 TensorFlow 1.x Python 代码以使用 TensorFlow 2.0 兼容 API，或者标记代码无法自动转换的情况。...但是，2.0 中的更改将意味着原始检查点中的变量名称可能会更改，因此使用 2.0 之前的检查点而具有已转换为 2.0 的代码时可能无法保证正常工作。

8861 0

使用OpenCV加载TensorFlow2模型

所以，我不仅帮TA解决了issue，还要以此为样本，与大家分享下一些提issue时的注意事项。首先，我们先解决OpenCV加载模型的问题。...saved_model. loaded = tf.saved_model.load('my_model') infer = loaded.signatures['serving_default'] f = tf.function...模型的示例代码，作者：Dmitry Kurtaev 在这段代码中，模型的推演功能被包裹在 tf.function 中，构建了静态图。...代码的错误信息就像是微波炉上的指示灯，它可以提供非常有用的信息帮助排除错误发生的原因。解决代码的错误需要“抓现行”，也就是要让程序在你眼前奔溃给你看。...这也是为什么几乎所有的代码作者要求提issue的时候附上导致错误出现的具体指令或者示例代码。这一点Suaro就做得很好。TA在issue中附上了完整的错误信息： ?

1.7K2 0

tf.while_loop

当条件为真时，重复身体动作。...对于训练，TensorFlow存储了在正向推理中产生的、在反向传播中需要的张量。这些张量是内存消耗的主要来源，在gpu上进行训练时经常导致OOM错误。...当swap_memory标志为true时，我们将这些张量从GPU交换到CPU。例如，这允许我们用很长的序列和大量训练RNN模型。参数：cond:表示循环终止条件的可调用的。...如果提供了cond输出，则使用附加条件来确保执行的迭代数不大于maximum_iteration。name:返回的张量的可选名称前缀。返回值：循环变量的输出张量。...shape_invariants=[i0.get_shape(), tf.TensorShape([None, 2])])示例演示了不严格的语义:在下面的示例中,计数器的最终值不依赖于x,所以while_loop

2.8K4 0

TensorFlow 分布式之 ParameterServerStrategy V2

由于 schedule 不需要执行分配任务，因此传递进来的 tf.function 可以在任何可用的工作者上执行。...为了简单起见，用户通常可以在这些任务上创建 TensorFlow 服务器时传入完整的集群信息。评估器（evaluator）任务不需要知道训练集群的设置，它也不应该试图连接到训练集群。...工作者如果在被过滤的远程设备上访问资源或启动程序/功能，将导致一个未知设备错误。...如果它是一个函数，它将被视为一个从操作对象到设备名称字符串的函数，并且在每次创建一个新操作时被调用。该操作将被分配给具有返回名称的设备。...对于一个自定义的训练循环，你可以将多个步骤打包到一个 tf.function 中。

1.2K2 0

PyTorch 特辑！网红 5 分钟带你入门 PyTorch

当程序运行到语句c=b*a时，就按照你所定义的命令执行了计算。然而在符号式编程中，定义计算图和编译程序之间却有着明显的不同。如果我们将刚才的代码以符号式编程的方式重新编写： ?...但是在Tensorflow中我们只定义一次计算图，然后我们可以多次执行该计算图。这样做最大的好处在于我们可以在最开始时就优化好计算图。...但是在很多情况下，比如使用递归神经网络时，如果计算图结构能基于输入的数据而改变，那将更为有用。在这个代码段中，我们使用Tensorflow在词向量上展开递归神经单元。 ?...为了实现该操作，我们将需要使用到一个特别的Tensorflow函数while_loop。我们必须使用特殊的节点来表示像循环语句和条件语句这样的基本单元。...首先，当然是这位哥伦比亚大学高材生活儿好技术好，用自己特有的方式三言两语就能抛出一个原本晦涩的 ML、DL 概念，让听众细细咀嚼。再者，这家伙幽默逗比、口才便给。

1.1K10 1

深度学习分布式训练框架 horovod (12) --- 弹性训练总体架构

因此，当此状态发生时，会抛出一个 HorovodInternalError 异常，当 hvd.elastic.run 捕获到这个异常后，会利用最新一次commit中恢复所有状态。...如果driver进程发现主机已可用或标记为删除，它将向所有workers推送一个通知。...于是在下次调用state.commit()或更轻量级的state.check_host_updates()时，一个HostsUpdatedInterrupt异常将被抛出。...HostsUpdateInterrupt 节点增删时，会捕获这两个错误，调用 reset 来进行容错处理； def run_fn(func, reset): @functools.wraps(...）或者 HostsUpdateInterrupt （代表有节点增删）时，Horovod 会执行如下流程: 在 hvd.elastic.run 装饰器中捕获上述两个错误；如果抛出的是 HorvodInternalError

9502 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭