我需要下载图像，对它们运行一些图像处理，然后将它们打包到n TFRecords中(例如，每个TFRecord 100个图像)。对于python队列，我应该有d下载线程、处理图像的p工作进程，然后让w工作进程在图像可用时使用TFRecordWriter写入图像。我想在dask上尝试一下，这样我就有了这样的东西： urls = bag.from_sequence(images_urls)
processed = urls.map(down
浏览 42提问于2019-01-29得票数 0
回答已采纳
我正在构建一个与tf.slim一起使用的模型，该模型将针对AVA数据集运行--对于大约256K的JPG图像，大小为32 to。在全分辨率图像的基础上，我创建了20个分片的TFRecord文件用于训练，每个文件的大小都是1.54 GB。在训练期间，我的预处理步骤将在提取随机的(224,224,3)裁剪之前将每个图像调整为(256,256,3)。如果我在创建TFRecord文件之前调整JPG图像的大小，文件大小将缩小到2
浏览 6提问于2018-01-10得票数 1
我正在尝试使用Dask和GeoPandas Geometry类型。我执行以下操作： sampel = dd.from_pandas(geo_data['geometry'], npartitions=5) 并获得一个如下所示的dask.dataframe.core.Series或者仅仅是不可能在dask中使用Geometry类型 谢谢:)
浏览 54提问于2020-12-11得票数 0
回答已采纳
我们目前正在dask.delayed函数中这样做。这显然需要大量磁盘I/O。
Dask延迟最佳实践()警告不要发送DataFrame延迟，不要调用延迟形式延迟，并告诉我们在分布式场景中避免全局状态。这些最佳实践让我相信，没有一种安全的方法可以使用延迟函数中的DataFrame --我的理解是正确的吗？不幸的是，数据的规模和敏感性使得在这里很难共享作为一个
浏览 2提问于2021-09-20得票数 1
回答已采纳
嗨，我是新来的达斯克，似乎找不到相关的例子，这个标题的主题。如有任何相关文件或帮助，将不胜感激。我使用的示例是使用dask_cloudprovider库对蔚蓝环境中的图像数据集进行预处理，我希望通过在一组机器上划分工作来提高处理速度。根据我所阅读和测试的内容，我可以(1)将数据加载到客户端计算机上的内存中，并将其推送给工作人员或
'''
浏览 1提问于2021-02-02得票数 0
回答已采纳
我遇到了一个问题，如果在短时间内提交了大量任务，dask调度程序会因内存错误而被终止(尽管工作程序仍在运行)。
如果可以获得集群上的当前任务数，那么很容易控制提交到集群的并发任务的数量。
浏览 3提问于2017-09-17得票数 1
我使用Dask在我的代码上有以下结构： @dask.delayed services = data.service_id
prices = data.price()方法时，我没有任何进度指示。Diagnostic UI没有“捕获”这个操作，我甚至不确定它是否正常运行(从我的处理器使用情况来看，我认为它不是)。result = dask.compute(*output) 我正在遵
浏览 49提问于2021-01-08得票数 0
回答已采纳
我在hpc上运行我的DASK服务器，在那里我有运行dask所需的所有基本模块，并且我正在jupyter notebook中加载该模块。我想使用dask和在dask的基础环境中不可用的模块来运行一些处理任务。为此，我使用conda创建了我的自定义环境。在运行我的任务之前，有没有一种简单的方法将这个新的condo环
浏览 3提问于2020-06-21得票数 2
我想使用dask-distributed，对于支持的算法和一般任务图执行都是如此。不幸的是，我们使用的批处理调度程序不支持DRMAA，所以我不能使用dask-drmaa。我们为所有主机提供了NFS。有没有办法开始使用Dask，或者我需要让批处理调度器支持DRMAA？
浏览 0提问于2017-03-13得票数 1
我正在考虑一个系统的架构，它应该处理传入的邮件，并将其传递给一个处理传入邮件的rails应用程序。我不知道做这种事最好的方法是什么。rails应用程序处理邮件(一些分析，然后将它们扔到db中)我不是在找一个完整的解决方案。我只是对你的意见感兴趣。我想出了三种可能的选择：
Rails通过Pop3连
浏览 0提问于2009-06-03得票数 0
2回答
我在EMR集群上使用Dask-Yarn遇到了一些令人沮丧的问题。我试图从存储在S3中的分区拼花文件中读取有关S3行的数据。我将数据重新划分到800DASK工作人员，然后将数据保存到内存中。然后，当我使用下游函数操作这些数据时，我开始在整个过程中遇到四分之一的TimeOut错误，这是没有意义的，因为我以为我已经将这些数据保存到内存中了。有没有人能解决这些timeout问题。
浏览 17提问于2022-02-20得票数 1
我正在使用Dask处理一堆csv格式的基于文本的记录，我正在学习使用它来解决内存问题太大的问题，并且我正在尝试过滤最符合复杂条件的组中的记录。到目前为止，我所确定的处理此问题的最佳方法是基本上使用Dash将记录分组为比特大小的块，然后用Python编写适用的逻辑：
def reduce_fra
浏览 6提问于2019-07-25得票数 0
我正在使用通过OAuth2连接到我的应用程序的后端，它工作得很好。并行请求可以从应用程序的不同部分触发。例如，当应用程序启动时，当前位置将被发送到服务器，并下载事件列表。
确保在第一个刷新令牌请求仍在运行时不发出第二个刷新令牌请求的最佳方法是什么？
浏览 2提问于2016-01-11得票数 15
上下文：I.一个复杂的文本预处理并将tf.SequenceExamples导出到tfrecords (自定义标记化、词汇表创建、统计计算、规范化以及在完整数据集上以及每个单独示例中的更多内容II.一个tf.Dataset (TFRecords)管道，它在训练期间也会执行相当多的处理(string_split转换为字符、表查找、存储、条件过滤等)。问题：
问题是，由于生产数据集快速增长(几兆字节)，不可能为每一
浏览 9提问于2017-12-27得票数 5
我在EJB3 + JSF中使用seam，我想在UI中添加一个树视图组件。树视图必须允许对节点进行排序(最好是拖放)，并且必须允许选择叶节点。我看过的方案如下：
如果我使用jsTree，用EJB3连接到数据的最佳方法是什么？我应该使用RESTEasy、Java脚本远程处理或其他方式吗？
浏览 3提问于2010-02-14得票数 0
回答已采纳
1回答
我正在尝试从google存储桶下载一个文件并解析它们。有数百万这样的文件，需要下载，分析和做一些操作(自然语言处理等)。我正在使用dask的并行处理来尝试下面的代码，它正在工作，但是它调用extract_skill两次，而不是对熊猫的数据文件中的每一行调用一次。请帮助我理解为什么要调用两次extract_skill方法。import pandas as pd
import nump
浏览 5提问于2019-09-19得票数 1
1回答
在使用相对昂贵的资源或对象进行计算的dataset上分发任务的最佳方法是什么。pd.read_csv(...)result = df.apply(lambda x: foo.do(x))
# in dask我计划将它与dask_jobqueue和SGECluster一起使用。
浏览 1提问于2018-10-03得票数 1
回答已采纳
我有这30个GiB SAS7BDAT文件，它们对应着一年的数据。当我尝试使用pd.read_sas()导入文件时，我会得到一个与内存相关的错误。在研究中，我听说有人提到使用Dask，将文件分割成更小的块或SQL。这些答案听起来相当宽泛，而且由于我是新来的，我真的不知道从哪里开始。如果有人能和我分享一些细节，我会很感激的。谢谢。
浏览 6提问于2021-12-05得票数 1
2回答
我想知道在这个函数中通过多处理/并行处理快速运行for循环(对于多个坐标: xs和ys)的最佳方法，方法是利用系统拥有的所有处理器、核心和RAM内存。
是否可以使用Dask模块？
浏览 7提问于2020-09-09得票数 4
回答已采纳
1回答
理想情况下，这可以通过创建dask网格来完成，然后可以对其进行分块，然后使用多线程或多核处理将其映射到我们的成本函数。浏览一下dask文档，dask.array似乎没有包含任何合适的机制来实现这一点。但文档似乎表明，dask.bag仅用作对原始数据(以CSV、JSON等格式)进行初步处理的模块。Dask.bag对象也有一个名为itertools.product()的方法</
浏览 10提问于2019-12-24得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
