使用dask下载、处理和连接到TFRecords的最佳方法
Dask是一个用于并行计算的灵活的开源库，它可以帮助我们在云计算环境中高效地下载、处理和连接到TFRecords文件。下面是关于使用Dask进行这些操作的完善且全面的答案：
- 下载TFRecords文件：
- Dask提供了
dask.distributed模块，可以用于在分布式环境中进行数据下载。你可以使用dask.distributed.Client来创建一个分布式客户端，并使用dask.distributed.wait来等待下载任务完成。 - 推荐的腾讯云相关产品：腾讯云对象存储（COS），它提供了高可靠性、低成本的对象存储服务，可以用于存储和下载TFRecords文件。你可以通过访问腾讯云COS的官方文档（链接地址：https://cloud.tencent.com/document/product/436）了解更多关于腾讯云COS的信息。
- Dask提供了
- 处理TFRecords文件：
- Dask可以通过
dask.dataframe模块来处理TFRecords文件。你可以使用dask.dataframe.read_tfrecord函数来读取TFRecords文件，并使用Dask的DataFrame API进行数据处理和转换。 - 推荐的腾讯云相关产品：腾讯云弹性MapReduce（EMR），它是一种大数据处理服务，可以帮助你高效地处理TFRecords文件。你可以通过访问腾讯云EMR的官方文档（链接地址：https://cloud.tencent.com/document/product/589）了解更多关于腾讯云EMR的信息。
- Dask可以通过
- 连接到TFRecords文件：
- Dask可以使用
dask.dataframe.concat函数来连接多个TFRecords文件。你可以将多个TFRecords文件的路径传递给dask.dataframe.concat函数，并指定连接的轴向。 - 推荐的腾讯云相关产品：腾讯云数据万象（CI），它是一种数据处理和分析服务，可以帮助你高效地连接和处理TFRecords文件。你可以通过访问腾讯云数据万象的官方文档（链接地址：https://cloud.tencent.com/document/product/460）了解更多关于腾讯云数据万象的信息。
- Dask可以使用
总结： 使用Dask下载、处理和连接到TFRecords的最佳方法是使用Dask的分布式功能和DataFrame API。对于下载TFRecords文件，可以使用腾讯云对象存储（COS）；对于处理TFRecords文件，可以使用腾讯云弹性MapReduce（EMR）；对于连接到TFRecords文件，可以使用腾讯云数据万象（CI）。这些腾讯云相关产品提供了高效、可靠的云计算服务，可以满足下载、处理和连接TFRecords文件的需求。
相关·内容
我需要下载图像，对它们运行一些图像处理，然后将它们打包到n TFRecords中(例如，每个TFRecord 100个图像)。 对于python队列，我应该有d下载线程、处理图像的p工作进程，然后让w工作进程在图像可用时使用TFRecordWriter写入图像。 我想在dask上尝试一下，这样我就有了这样的东西： urls = bag.from_sequence(images_urls)
processed = urls.map(download_image).map(process)
by2 = processed.repartition(2).map_partitions(packing
浏览 42提问于2019-01-29得票数 0
回答已采纳
1回答
我需要在多个进程并行的情况下运行一个scikit learn RandomForestClassifier。为此，我正在考虑实现一个具有N个工作者的Dask调度器，其中调度器和每个工作者在单独的Docker容器中运行。 客户端应用程序也在单独的Docker容器中运行，它将首先连接到调度器，并使用with joblib.parallel_backend('dask'):启动scikit learn进程。 用于训练机器学习模型的数据存储在客户端应用程序Docker容器中的parquet中。让工作人员访问数据的最佳实践是什么？数据应该放在其他地方，在共享目录中吗？
浏览 37提问于2021-04-07得票数 2
回答已采纳
3回答
我目前正在开发一个iPhone应用程序，想实现从互联网上下载文件(特别是pdf，mp3，文件和ppt文件)的能力。我已经创建了UIWebView，但是想知道当文件链接到webview中时捕获文件的最佳方式，然后将它们下载到documents目录中的指定文件夹。
任何建议/链接到教程等将非常感谢。
干杯
浏览 1提问于2010-02-07得票数 2
回答已采纳
嗨，我是新来的达斯克，似乎找不到相关的例子，这个标题的主题。如有任何相关文件或帮助，将不胜感激。
我使用的示例是使用dask_cloudprovider库对蔚蓝环境中的图像数据集进行预处理，我希望通过在一组机器上划分工作来提高处理速度。
根据我所阅读和测试的内容，我可以(1)将数据加载到客户端计算机上的内存中，并将其推送给工作人员或
'''psudo code
load data into array and send it to workers through delayed func'''
(2)我可以在每个工作节点和数据存储之间建立一个链接
浏览 1提问于2021-02-02得票数 0
回答已采纳
上下文：
我的文本输入管道目前由两个主要部分组成：
I.一个复杂的文本预处理并将tf.SequenceExamples导出到tfrecords (自定义标记化、词汇表创建、统计计算、规范化以及在完整数据集上以及每个单独示例中的更多内容)。对每个数据配置执行一次。
II.一个tf.Dataset (TFRecords)管道，它在训练期间也会执行相当多的处理(string_split转换为字符、表查找、存储、条件过滤等)。
原始数据集存在于多个位置(BigQuery、GCS、RDS、.)。
问题：
问题是，由于生产数据集快速增长(几兆字节)，不可能为每一种可能的数据配置(第1部分有很多超参数)重新
浏览 9提问于2017-12-27得票数 5
我正在尝试通过pip在Mac OSX上安装daskcomplete，但总是找不到匹配的: daskcomplete。在Mac OSX上安装daskcomplete库的最佳方式是什么？
pip install dask[complete]
zsh: no matches found: dask[complete]
浏览 13提问于2018-03-05得票数 3
回答已采纳
我正在使用Tensorflow进行语音识别，并计划用大量的波浪数据集来训练LSTM神经网络。由于性能的提高，我计划使用tfrecords。在互联网上有几个例子。将tfrecords文件拆分为碎片的地方。我的问题是:将of记录文件放入碎片有什么好处？这种分割是否有任何额外的性能增益？
浏览 0提问于2017-01-14得票数 28
2回答
使用perl的递归查询
、、、
我在db上有下面的表，它有2列：
from to
00001 00002
00001 00003
00002 00003
00002 00004
00003 00001
00003 00004
00002 00004
00004 00002
00005 00003
00005 00001
00006 00007
00009 00006
我需要用perl和dbi获取特定数字的连接，例如00001的输出将是下面的连接：
00001 00002 0003 00004 00005
因为00
浏览 2提问于2011-11-25得票数 1
回答已采纳
我拥有的数据规模不太可能使DataFrame合并成功--以前的尝试已经导致过多的数据洗牌、调度程序上的内存错误和工作人员中的通信超时，甚至包括索引、分区、工作人员的重要计数、总内存等等。
通过将数据写入小文件并在需要查找时将其读取回来，我已经“手动”合并了一些成功。我们目前正在dask.delayed函数中这样做。这显然需要大量磁盘I/O。
Dask延迟最佳实践()警告不要发送DataFrame延迟，不要调用延迟形式延迟，并告诉我们在分布式场景中避免全局状态。这些最佳实践让我相信，没有一种安全的方法可以使用延迟函数中的DataFrame --我的理解是正确的吗？
不幸的是，数据的规模和敏感性使
浏览 2提问于2021-09-20得票数 1
回答已采纳
我有一堆TFRecords，我用它们来训练模型。我也想在TensorFlow服务中使用它们。到目前为止，我一直在使用JSON端点，并且一直在将TFRecords转换为RESTful请求主体。 有没有什么特殊的方法可以直接在TFRecords上进行推断，而不需要手动将单个TFRecords转换到TF服务请求中？
浏览 22提问于2019-05-07得票数 2
回答已采纳
我想要一个所有东西都连接到引用节点(node0)的Neo4j图。我的想法是将node0连接到一个“类类型”节点(rootNode)，然后将某个类的所有节点都连接到它。例如：
node0 --> unique RootUser --> many User
我使用的是SpringNeo4j，所以我用@NodeEntity注释了RootUser和User。不过，我不知道如何在Spring中将node0连接到RootUser。我试图在RootUser类中添加以下内容，但它不起作用(referenceNode来自neo4jTemplate.getReferenceNode())：
@Rela
浏览 1提问于2012-11-16得票数 1
如何将教程改为使用TFRecords，而不是教程从web上下载的奇怪格式？
我从一开始就使用创建包含200x200RGB图像的TFRecords，并打算在1080Ti上进行训练，但我找不到任何关于如何加载TFRecords并将其输入卷积神经网络的好例子。
浏览 18提问于2017-08-29得票数 1
我对如何准确地连接到从外部服务通过Dask-helm图表创建的已部署的Dask集群感到有点困惑。我按照here的说明部署了一个Dask集群 成功部署后，它向我显示了我的pod和服务，如下所示： hub-574f85779c-sk7ct 1/1 Running 0 60m
jupyter-dask 1/1 Running 0 32m
proxy-68bcf94bd5-22kj5
浏览 28提问于2020-12-02得票数 1
2回答
在Linux AMI启动期间，我想在初始化我的EC2连接时从S3存储桶中下载一些数据(比如sun java库和一些专有软件)。我注意到这样做的一种方法是使用s3cmd。但是，如何从S3获取s3cmd .s3cfg的配置文件？
此外，如果有更好的方法在初始化期间连接到S3存储，也请让我知道。
谢谢!
浏览 2提问于2012-01-25得票数 4
回答已采纳
1回答
我正在尝试使用我设置的dask集群来运行和并行化这个sqlalchemy查询，因为我没有足够的内存从本地计算机执行它。 我的代码如下-我不确定这是否是实现这一目标的最佳方法： from dask.distributed import Client
import dask.dataframe as dd
from dask.delayed import delayed
client = Client(<IP Address>)
recent_dates = ['2020-04-24', '2020-04-23', 2020-04-22']
浏览 43提问于2020-04-26得票数 0
回答已采纳
我在一台服务器上编写了一个windows服务，它每隔20秒连接到SQS，以检查要检索和处理的消息。我注意到，该服务每小时使用约30MB的带宽，即使没有消息可接收。这就好像带宽仅用于连接到SQS队列以检查approximateMessagesVisible计数的操作。在我看来，它仅仅是为了检查队列就使用了如此多的带宽/数据，这似乎有点过分。有没有关于C#和与SQS交互的一般性建议，我应该遵循这些建议来帮助减少带宽。对于发回消息，我可以做一些优化，但检查需要经常进行，所以我想知道实际使用的数据是什么(总是下载，而不是上传-因此数据到运行服务的服务器，它唯一连接的是一个SQS队列)。
浏览 0提问于2018-09-21得票数 0
1回答
我希望有人能帮助我洞察我的问题？
我正在从事一个模拟一个小镇道路网络的学术项目。为了简单起见，我的公路网是一个nxn矩阵(例如下面的9x9 matrixA ).
matrixA =
a1 b2 c3 d4 e5 f6 g7 h8 i9
a2 b0 c0 d0 e5 f0 g0 h0 i9
a3 b0 c0 d0 e5 f0 g0 h0 i9
a4 b0 c0 d0 e5 f0 g0 h0 i9
a5
浏览 2提问于2015-08-03得票数 0
回答已采纳
在OSX10.12.6上运行DASK0.16.0时，我无法将本地dask-worker连接到本地dask-scheduler。我只想跟随官方的。复制步骤：
步骤1:运行dask-scheduler
步骤2:运行dask-worker 10.160.39.103:8786
这个问题似乎与dask调度程序有关，而与工作人员无关，因为我甚至无法通过其他方法(例如nc -zv 10.160.39.103 8786)访问端口。
但是，该进程显然仍在机器上运行：
浏览 8提问于2018-01-02得票数 3
回答已采纳
谁能指导我如何将Visual basic2008连接到SQL server2008数据库？当涉及到这一点时，我对什么是最佳实践感到困惑。
浏览 0提问于2012-01-02得票数 1
回答已采纳
我使用Dask在我的代码上有以下结构： @dask.delayed
def calculate(data):
services = data.service_id
prices = data.price
return [services, prices]
output = []
for qid in notebook.tqdm(ids):
r = calculate(parts[parts.quotation_id == qid])
output.append(r) 事实证明，当我在output列表上调用dask.compute()方法时
浏览 49提问于2021-01-08得票数 0
回答已采纳
3回答
R中是否有与Python的dask相同的包？专门用于在一台机器上运行大于内存的数据集上的机器学习算法。
链接到Python的Dask页面：
来自达斯克的网站：
达克本地缩放Python
Dask为分析提供了高级的并行性，为您喜欢的工具提供了规模上的性能。
达斯克的调度器已经在世界上一些最大的超级计算机上进行了测试，规模可达千节点集群，其算法已经过测试。
但你不需要一个庞大的集群才能开始。带有调度器的Dask船，设计用于个人机器上。今天，许多人使用Dask在笔记本电脑上进行计算，使用多个核进行计算，使用磁盘进行多余的存储。
浏览 1提问于2018-06-27得票数 13
我使用TensorFlow编写了两种方法：
convert_imgs_to_TFRecords，将./dataset中的所有图像隐藏到TFRecords文件img.tfrecords中。
read_imgs_from_TFRecords，读取img.tfrecords，获取image及其信息，包括height、weight、channel和name。
但是图像不匹配他们的名字。
例如，名为001.jpg的图像和名为002.jpg的B图像转换为img.tfrecords，而A图像获取名称002.jpg和B图像获取read_imgs_from_TFRecords后的001.jpg。
浏览 6提问于2017-09-08得票数 0
我正在尝试将一个自适应的dask kubernetes集群部署到我的aws K8s实例(我想使用中的kubeControl接口)。我不清楚我在哪里以及如何执行这段代码，以便它在我现有的集群上是活动的。除此之外，我还希望有一个入口规则，以便我拥有的另一个ec2实例可以连接到集群并在aws VPC中执行代码，以维护安全性和网络性能。
到目前为止，我已经成功地运行了一个功能强大的k8s集群，并在其上运行了dask和jupyterhub。话虽如此，我可以使用公开的AWS dns服务器从我的另一个ec2实例连接到这个集群，并执行自定义代码，但这不是kubernetes原生dask集群。
我已经为kube
浏览 1提问于2019-09-20得票数 1
现在，活动可以使用以下三种方式之一连接到服务：
AIDL
我认为BroadcastReceivers是最简单的沟通方式，但我想知道为什么和何时使用其他方式？或者换句话说，在哪种情况下，信使或AIDL将是比广播接收机使用的最佳实践？
浏览 3提问于2014-05-11得票数 7
回答已采纳
1回答
研究使用Ansible将RHEL7连接到AD的最佳实践方法。有不可测模来做这件事吗？我看了一眼，但似乎没有。
这篇来自Redhat的文章"如何使用adcli将RHEL系统连接到域“似乎是要走的路，但它是否是在使用指挥模块实现Ansible时使用的最佳方法？
如果以上是最好的方法，是否有办法确保幂等效应？命令模块有一个名为creates的选项，但这似乎不是最有说服力的方法。
谢谢你的指点/建议。
浏览 0提问于2017-06-18得票数 0
回答已采纳
2回答
我有一个包含n h5文件的目录，每个目录都有要过滤的m图像堆栈。对于每幅图像，我将使用dask并行阵列运行滤波(高斯和拉普拉斯)，以加快处理速度()。我将通过apply_parallel()函数在scikit-映像中使用dask数组。
我将使用20 cpus在小型服务器上运行处理。
--我想得到一个建议，建议使用哪种并行策略更有意义：
1) h5文件的顺序处理和用于dask处理的所有cpus
2)用h5内核并行处理x文件，并使用剩余的20-x进行dask处理。
3)对h5文件、h5文件中的图像以及dask的剩余资源进行分配和并行处理。
谢谢你的帮助！
浏览 6提问于2016-02-10得票数 2
回答已采纳
4回答
假设我有一个边列表，每个边包含两个节点(往返)。找出两个给定节点的边的最佳方法是什么？请注意，边缘的节点可能会重复。
假设我在这种格式上有优势：
1 <-> 5
3 <-> 7
5 <-> 6
2<-> 6
然后像15这样的查询将返回真。
然后查询(例如52)将返回真，因为5连接6和6连接到2。
然后查询(如17)将返回false。
然后查询(如7 4)将返回false，因为4不存在，这意味着它是无边节点。
浏览 4提问于2009-03-26得票数 2
回答已采纳
2回答
将我的机器重新连接到AD02和AD01的最佳方法是什么。
背景:以前我们有三个域控制器(AD01，AD02，AD03)，运行在冗余状态下，所有的机器都连接到同一个网络(192.168.1.0/24)，域(DDF.SDT.NET)参考顶层图。
目前，两个域控制器(AD01，AD02)和客户端(1-12)在一起，域控制器(AD03)和客户端(13-18)已经迁移到另一个区域。现在，客户机1-12使用AD01 & AD02，客户机13-18使用AD03。注意:由于AD03已经被隔离，所以它们之间没有通信( and 01\0 2)。请参阅中间图
现在，几年后，我们希望将客户端13-18重新连接
浏览 0提问于2016-10-18得票数 1
回答已采纳
1回答
我想使用连接到不同网络的两台(或更多)笔记本电脑创建一个集群。我正在尝试dask-scheduler和dask-worker，但只有当这两台机器连接到相同的网络时才能正常工作。 我该怎么做呢？谢谢。
浏览 19提问于2021-07-02得票数 1
2回答
使用，我创建了一个Dask集群。
NAME READY STATUS RESTARTS AGE
dask01-jupyter-aaa-aaaa 1/1 Running 0 3d19h
dask01-scheduler-bbb-bbbb 1/1 Running 0 3d19h
dask01-worker-ccc-cccc 1/1 Running 0 3d19h
dask0
浏览 17提问于2020-03-14得票数 1
1回答
我有几个关于使用Dask与Hadoop/Yarn有关的问题。
1 )如何将Dask连接到Hadoop/纱线并并行化作业？
当我尝试使用：
from dask.distributed import Client
client = Client('Mynamenode:50070')
它导致错误：
CommClosedError: in :流已关闭:同时尝试调用远程方法“identity”
我应该传递名称节点或datanode的地址吗？我可以去找动物园管理员吗？
2 )如何使用和HDFS3从HDFS读取数据？
当我尝试使用以下方法读取文件时：
import dask.
浏览 5提问于2017-10-25得票数 2
回答已采纳
我正在使用通过OAuth2连接到我的应用程序的后端，它工作得很好。
我遇到的问题是，当访问令牌过期时，多个请求同时发生，其中一些请求失败。
并行请求可以从应用程序的不同部分触发。例如，当应用程序启动时，当前位置将被发送到服务器，并下载事件列表。
确保在第一个刷新令牌请求仍在运行时不发出第二个刷新令牌请求的最佳方法是什么？
浏览 2提问于2016-01-11得票数 15
是否有任何方法直接将.tfrecords文件拆分为多个.tfrecords文件，而无需回写每个Dataset示例？
浏览 0提问于2019-02-04得票数 13
回答已采纳
我在Azure Blob存储上存储了一些TFRecords文件。我想知道是否有某种方法可以使用tensorflow的Dataset API直接读取它们。
我目前使用的方式是将这些tfreocrds下载到本地文件系统，然后通过Dataset API读取。有没有更有效的方法？
浏览 8提问于2019-10-31得票数 0
我想在表单的操作中使用Dask
df.groupby(some_columns).apply(some_function)
其中，some_function()可以计算一些汇总统计信息，执行时间序列预测，甚至只需将组保存到AWS S3中的单个文件。
Dask 状态(以及其他几个StackOverflow答案引用)表明，groupby-apply不适合聚合：
熊猫的群-应用可以用来应用任意函数，包括每组产生一行的聚合。Dask的将对每个分区组对应用func一次，所以当func是一个约简时，每个分区组对将得到一行。若要使用Dask应用自定义聚合，请使用dask.dataframe.groupby
浏览 40提问于2021-12-07得票数 1
回答已采纳
让所有Dask (分布式)工作者/调度器理解自定义git存储库的python模块的最佳方式是什么？
如果对git存储库的新提交以同样的方式反映在Dask worker/ schedulers上，那就更好了。
我尝试了以下几种方法：
(1)使用client.upload_file接口，将文件从主节点复制到工作节点。单独复制文件会丢失模块/目录结构，因此压缩文件，然后上传可以正常工作。但是对git存储库的更新不会反映在主节点和工作节点的压缩存储库中。
(2) (来自Amazon EMR)在引导脚本中，我包含了"pip install git+"，这样所有节点在集群实例化时都将拥有存
浏览 19提问于2019-10-31得票数 1
当前将Java应用程序连接到HC-05蓝牙模块(Arduino)的最佳实践是什么？Bluecove还是别的什么？如果是这样，有没有什么例子可以推荐给支持HC-05连接的Bluecove？
浏览 0提问于2015-11-02得票数 4
我正在使用dask延迟函数，在函数上使用@dask.delayed装饰器时，我熟悉dask的do's和don。我意识到，有时我需要调用compute()两次才能得到结果，尽管我认为自己遵循了最佳实践。也就是说，不要在另一个dask延迟函数中调用dask延迟函数。
我在两个场景中遇到了这个问题:当有嵌套函数时，以及在类中调用成员函数时，类成员是延迟对象。
@dask.delayed
def add(a, b):
return a + b
def inc(a):
return add(a, 1)
@dask.delayed
def foo(x):
return
浏览 2提问于2019-07-09得票数 1
回答已采纳
2回答
有没有办法切断现有的连接？？
例如，192.168.1.120通过端口8080连接到be。
我想知道如何终止这种连接？
非常感谢！
浏览 1提问于2010-06-23得票数 5
我有来自Orangepi的廉价IoT设备，运行带有wlan0和ppp0接口的raspbian服务器。wlan0将连接到本地网络中的接入点。ppp0接口将通过/dev/modem0连接到GSM网络，并为设备提供互联网接入。
希望orangePi能够通过ppp0连接互联网
希望本地网络中所有将连接到路由器/接入点的设备能够通过IoT ppp0接口连接到internet
还希望能够在本地网络中设置从ppp0接口到某些设备的端口转发。
做这件事的最佳方法是什么，以及如何配置IoT Linux盒？
浏览 0提问于2018-06-15得票数 0
1回答
我正在解析由制表符分隔的数据，以创建表格数据，我希望将其存储在HDF5中。
我的问题是，我必须将数据聚合成一种格式，然后转储到HDF5中。这是~1 TB大小的数据，所以我自然不能把它放入RAM中.达斯克可能是完成这一任务的最佳方式。
如果我使用解析我的数据来适应一个熊猫的数据，我会这样做：
import pandas as pd
import csv
csv_columns = ["COL1", "COL2", "COL3", "COL4",..., "COL55"]
readcsvfile = csv.r
浏览 3提问于2016-10-09得票数 14
回答已采纳
基于和增量PCA文档，它建议使用memmap数组，但是否可以使用dask完成相同的任务？
Update扩展了这个问题，包括了其他部分fit算法，因为dask的git提到了一种使用任何支持部分fit的方法--学习，但我似乎无法在API中找到关于它的文档。当我尝试为6000x250000 float64 dask dataframe增量pca时，它花了8个小时才在16核心104 on上取得9%的进步，而不需要调整dask调度程序，但我不确定这是因为我的代码不好，还是因为这样的数据集会出现这种情况。我欢迎任何关于SGD批处理大小的建议，甚至作为概念的证明。
浏览 4提问于2016-08-28得票数 2
2回答
我有两个NIC。eth0连接到互联网，eth1连接到局域网。
我想使用iptables和linux来限制下载限制。
所以我写了一个测试脚本来验证它是否有效。
我的iptables配置如下所示。
iptables -t mangle -N INBOUND
iptables -t mangle -I PREROUTING -i eth0 -j INBOUND
iptables -t mangle -A INBOUND -j MARK --set-mark 60
我的入口配置如下所示。
tc qdisc add dev eth0 handle 1: ingress
tc filter add de
浏览 0提问于2011-01-30得票数 1
回答已采纳
我正在使用Dask处理一堆csv格式的基于文本的记录，我正在学习使用它来解决内存问题太大的问题，并且我正在尝试过滤最符合复杂条件的组中的记录。
到目前为止，我所确定的处理此问题的最佳方法是基本上使用Dash将记录分组为比特大小的块，然后用Python编写适用的逻辑：
def reduce_frame(partition):
records = partition.to_dict('record')
shortlisted_records = []
# Use Python to locate promising looking records.
浏览 6提问于2019-07-25得票数 0
在函数的apply_ufunc中，它说：
dask: ‘forbidden’, ‘allowed’ or ‘parallelized’, optional
How to handle applying to objects containing lazy data in the form of dask arrays:
‘forbidden’ (default): raise an error if a dask array is encountered.
‘allowed’: pass dask arrays directly on to func.
‘p
浏览 0提问于2018-08-07得票数 5
回答已采纳
我正在考虑一个系统的架构，它应该处理传入的邮件，并将其传递给一个处理传入邮件的rails应用程序。我不知道做这种事最好的方法是什么。
它应该是这样的：
邮件被发送到像contact@user_id.myapp.com这样的地方
邮件服务器接受邮件并将它们传递给rails应用程序(或者存储它们，rails应用程序获取它们)。
rails应用程序处理邮件(一些分析，然后将它们扔到db中)
基本上应该像奎克人一样工作。邮件流量的突然高峰不应该扼杀rails应用程序。
我不是在找一个完整的解决方案。我只是对你的意见感兴趣。我想出了三种可能的选择：
Rails通过Pop3连接到邮件服务器，只下载消息(可
浏览 0提问于2009-06-03得票数 0
用户已经报告了将他们的iPhones 5连接到Ubuntu13.04和13.10的问题。iPhone报告说“信任当前连接的计算机？”当用户选择“信任”时，它会继续询问。
https://bugs.launchpad.net/ubuntu/+source/libimobiledevice/+bug/1207812
浏览 0提问于2014-02-02得票数 1
1回答
在文档的帮助下，我使用Helm在Kubernetes集群上安装了Dask和。
所有部署都很好，我可以访问JupyterLab。然后，我创建了一个笔记本，并从Google云存储桶下载了一个csv文件：
storage_client = storage.Client.from_service_account_json(CREDENTIALS)
bucket = storage_client.get_bucket(BUCKET)
download_blob(bucket, file="test-file", destination_dir="data/")
我在csv
浏览 1提问于2019-02-01得票数 0
回答已采纳
如果有一个依赖于某些持久化内容的Dask集合d，那么获得d所依赖的所有Future的列表的最佳方法是什么？
浏览 3提问于2017-12-15得票数 1
回答已采纳
获取dask数据帧分区并将其转换为pandas数据帧的最佳方法是什么？以下代码似乎永远挂起。
partitions = auc_ddf.to_delayed()
df = partitions[0]
df.head().compute()
浏览 0提问于2020-01-28得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
