1回答
你好，我想处理10亿行，23列的大量数据。但在熊猫身上，我甚至无法读取数据。那么，如何在我的Dell XPS 9570计算机上处理这些数据呢？我能用spark来做这个吗？有什么建议可以在我的电脑上处理吗？
谢谢
浏览 11提问于2019-10-23得票数 0
假设我有一个数据处理二进制文件，它接收作为输入文件名的数据，从一个指定文件读取数据，然后输出到另一个文件。
假设这个二进制文件在大约2秒内执行。
在Rails应用程序中使用这个数据处理工具的好方法是什么？我有一些选项：-让rails应用程序写入一个文件，调用二进制文件，等待输出，读取输出。-做一些类似的事情，但不要等待二进制文件执行，只需响应请求并在稍后异步推送数据。-制作某种web服务来运行数据处理工具。数据通过某种HTTP请求(可能是多部分)从应用服务器传输到另一台服务器。
还有其他选择/想法吗？
浏览 2提问于2015-04-22得票数 1
回答已采纳
我想添加通过我的应用程序共享图像或链接的能力。为此，我在清单中添加了那些过滤器。
<activity android:name="MyActivity"
android:launchMode="singleTask"
android:screenOrientation="portrait"
>
<intent-filter>
<action android:name="android.intent.action.SEND" />
浏览 4提问于2017-02-28得票数 1
回答已采纳
1回答
在流应用程序部署后(除了维护状态)，数据流服务器和跳过器是否具有任何活动角色？问不同的问题，例如，如果我有一个http源和amqp接收器，从http到amqp的任何流量是否通过数据流服务器或跳过？
浏览 2提问于2020-01-09得票数 0
回答已采纳
1回答
从本地数据源到红移的连续数据摄取
、、、、
我需要将来自多个本地数据源的数据插入到我的Redshift中。此摄取将是一天中每6小时运行一次的计划活动。该过程应该能够识别增量记录，并在Redshift中仅加载新的/更改的记录。在所有这些过程中，重启选项也应该可用。我正在尝试完全使用AWS服务或使用python程序和aws服务的组合来实现这一点。
我的想法是设置一个从外部源到s3的数据流，然后临时启动一个ec2实例以满足任何数据处理/纠缠需求，然后将策划的数据写回s3，终止ec2实例并使用数据管道将数据加载到redshift中。
你能给我一些开始的建议吗？如果你有类似项目的经验，请分享你的经验。另外，如果可能，请分享一个设计和相关的代码作为
浏览 1提问于2018-03-29得票数 0
我们使用一个deleteAt列来指定某物是活动的还是(软)删除的。哪种技术是查询活动内容的最佳方法？
在实际表上筛选索引更好，还是使用deleteAt is NULL索引视图更好？
这是索引视图的好用例吗？
还是我们应该使用过滤索引进行常规查看？
浏览 10提问于2015-03-14得票数 0
回答已采纳
4回答
我有一个月的纵向数据集，其中有一些用户消耗。
我只想对那些在整个30天的中活动的用户进行数据子集，但是我找不到这类子集的示例。下面是数据布局的一个示例：
date userID x
2001-11-08 1 20
2001-11-08 2 2
2001-11-08 3 10
2001-11-08 4 5
2001-11-08 5 1
2001-11-09 1 19
2001-11-09 3
浏览 6提问于2011-02-08得票数 4
回答已采纳
1回答
我们提供一个在线订阅产品，使我们的用户可以研究和分析他们感兴趣的行业的金融数据。因此，我们有各种工具从不同的来源加载数据、清理数据、处理数据、基于用户交互的标记数据等等。基本上，处理数据操作的各种流程和工具。
我们正在对这些数据过程进行全面改革，我正试图找到一个正确的术语来称呼这些过程，无论是为了研究目的，还是为了我的演讲。到目前为止，我考虑的名字：
ETL --这个术语似乎过于专注于加载数据。我们的数据处理也广泛地处理用户输入。
数据仓库--这个术语似乎过于通用和宽泛。我不确定我们的流程在本质上是否是数据仓库。
我正在寻找一个术语，我可以用来命名或描述我们的过程。
浏览 0提问于2015-08-06得票数 1
回答已采纳
3回答
我在用java将对象转换为JSONObject (org.json.JSONObject)时遇到了困难。
我有一个对象X，它是一个子对象Y。当我创建“(this).ToString()”时，只有JSONObject中创建的对象X(子)的属性。
见下面的例子：
家长班：
import org.json.JSONObject;
public class Class1 {
private String name;
private int number;
public String getName() {
return name;
}
public void setName(String
浏览 1提问于2011-12-16得票数 1
回答已采纳
1回答
我有一个名为switch control的div类，它有一个名为thumb的div类作为子类
<div class="switch-control">
<div class="thumb"></div>
</div>
它们有一个css，叫做：
.switch-control > .thumb
.switch-control > .thumb::before
这两个css类都在chrome和firefox上生效和使用，但在IE8,9上.switch-control > .thumb
浏览 1提问于2012-06-21得票数 0
回答已采纳
考虑如下数据处理管道：
从托管在internet上的REST中获取大量数据，并将其保存到数据存储中。
对持久化数据执行一些复杂的数据转换。
在数据存储上持久化数据转换的结果。
为了在Azure中实现这样的管道，步骤2和步骤3似乎很适合作为活动来实现。
我的问题是-在Azure Data活动中实现步骤1也有意义吗？
从技术上讲，编写执行数据下载和持久性的.Net活动是可能的。
浏览 6提问于2016-03-07得票数 0
回答已采纳
1回答
我用动态照片显示每十分钟收集的天气数据。其中一个数据是雪的深度(以米为单位)。偶尔的深度是错的，0米，在这里，以前和下一个都是0.9米。这是冬季自动取款机。我一直在现场验证0.9是正确的。
在0.9米处有47个数据点，在0M时有一个数据点，标准偏差大约是。0.13 (在FreeBSD上使用部长级)。
我已经看过了图形文档，但是当标准差超过某一阈值时，我找不到忽略像0这样的值的方法。
关于有向图的页面有三个如何处理标准差的例子，但我只想忽略0，而不是与选项errorBar或customBar一起使用，而且数据不是分数。
选项rollPeriod不适用，因为它只是平均x个数据点。
在cron作业中
浏览 1提问于2016-02-23得票数 1
回答已采纳
1回答
亚马逊档案数据的动态分析
、、、、
背景
我发现可以用于流数据以及S3桶中的数据。
然而，的一些部分让我怀疑Analytics是否可以用于S3桶中的大量现有数据：
编写应用程序代码
我们建议如下：
在SQL语句中，出于以下原因，请不要指定超过一个小时的基于时间的窗口：
- Sometimes an application needs to be restarted, either because you updated the application or for Kinesis Data Analytics internal reasons. When it restarts, all data inclu
浏览 1提问于2016-08-23得票数 0
回答已采纳
1回答
我使用Azure权限进行数据治理和数据沿袭。我们在数据体系结构中使用Databricks，但是不存在任何本机支持来捕获Databricks的数据沿袭。
我找到了以下链接，这些链接将允许您在Azure权限中创建自定义进程。
有人能让我知道最近是否有任何方法在Azure权限范围内使用Databricks实现数据沿袭？
浏览 5提问于2022-05-11得票数 0
我们有一个运行HDFS的日志收集代理，即该代理(如Flume)不断从一些应用程序收集日志，然后将其写入HDFS。读写过程不间断地运行，导致HDFS的目标文件不断增加。
这里有一个问题，由于输入数据不断变化，如果我将收集代理的目标路径设置为作业的输入路径，MapReduce作业会发生什么情况？
FileInputFormat.addInputPath(job, new Path("hdfs://namenode:9000/data/collect"));
浏览 2提问于2015-06-29得票数 1
2回答
我想知道hadoop如何帮助用户数据跟踪。例如，我有一个电子商务应用程序，我希望记录客户执行的每一个活动，例如查看项、添加到购物车或购买项目。是否有使用hadoop记录事件的示例或最佳实践。我之所以想使用hadoop，是因为它的高可用性和可伸缩性，而且记录的数据也将从GBs增长到TBs。还是我错了？因为日志记录应该独立于hadoop，以后对日志数据的分析可以用hadoop完成吗？
Hadoop仅仅是关于MapReduce的吗？如果我可以使用hadoop记录或跟踪活动，那么什么是Map，哪些是还原函数？
有人能解释一下这件事吗？
浏览 3提问于2014-04-11得票数 1
回答已采纳
我有几个条件需要满足，以便允许用户编辑所选项目的详细信息。
这些条件是：
如果该项处于活动状态，则允许它们编辑它，而不管安全性级别如何。那里没问题。
如果该项目是不活动的:安全级别50以上的用户可以编辑它，低于安全级别50的用户只能查看它。
目前，我正在使用多数据处理程序来执行此操作：
<MultiDataTrigger>
<MultiDataTrigger.Conditions>
<Condition Binding="{Binding Active,Converte
浏览 6提问于2010-10-12得票数 0
回答已采纳
我想知道如何在H2O流中找到和替换某些数据值。例如，如果一行数据是'0.003 8.938 0.005 9.999‘，我想找到所有的'9.999’并用NaN替换，所以有点像sed？在流接口中有直接这样做的方法吗？谢谢
浏览 1提问于2016-05-27得票数 1
回答已采纳
1回答
我即将开始处理大小约为500 GB的数据。我希望能够使用Python在任何给定时间访问数据的小部分。我正在考虑将PyTables或MongoDB与PyMongo (或者Hadoop -谢谢)一起使用。是否有其他我应该考虑的文件结构/DB？
我要做的一些操作是计算一个点到另一个点的距离。基于来自布尔测试等的索引来提取数据。这些结果可能会在网站上线，但目前它只打算在桌面上用于分析。
干杯
浏览 5提问于2012-10-08得票数 3
回答已采纳
2回答
在matlab和一些动态链接库函数之间需要来回传递一些数据，突出的一点是我们不知道matlab中NaN的确切数值，因此将有一些不必要的数据处理来考虑这些数值。
有人知道matlab中NaN的精确值或至少值的范围吗？
我最感兴趣的是知道以下两种原语类型：
(1)用于浮点(32)的NaN；
(2)双倍(64)的NaN。
浏览 1提问于2012-12-11得票数 4
回答已采纳
4回答
我写了一个程序，并将编译后的文件发送给了我的朋友。但一个小时后，他给我发来了代码！他是怎么做到的。我怎样才能防止它呢？这个问题只出现在.net中吗？
浏览 1提问于2012-03-16得票数 0
回答已采纳
我知道可以使用坞映像，但是我需要库伯内特斯来创建集群吗？有关于模特服务的指导，但是关于Kubernetes的模特培训呢？
浏览 5提问于2016-10-30得票数 5
回答已采纳
1回答
我目前正在使用Data V1。
我有一条有两条链式活动的管道：
。第一个活动是将表从SQLDB提取到中的.tsv文件中的复制活动。
。第二个活动是活动，它收集先前创建的.tsv文件中的数据，并将其添加到database数据库中的现有表中。
显然，我只希望第二个活动在第一个活动之后运行，所以我使用来自第一个activity的输出数据集作为第二个活动的输入数据，它工作得很好。
但是，如果第一个活动失败，则第二个活动将停留在“等待:数据集依赖(上游依赖项尚未准备就绪)”状态。
我为第二个活动设置了策略->timeout属性，但它似乎只有在该活动启动后才能工作。所以，由于活动从来没有开始，所以它
浏览 1提问于2017-12-28得票数 1
目前，我们的实时数据库服务器每天都会下载大型数据转储(大约10 of )，将它们导入MySQL，规范化数据，并构建一些索引(全文索引特别需要征税)。这将在我们想要卸载的活动服务器上创建一个重要的负载。
理想情况下，我们应该让一个单独的离线服务器完成所有这些工作，然后简单地打包并将索引完整的表传输到活动服务器。这在MySQL (或MariaDB)中是可能的吗？这些是MyISAM表，因为我们使用了合并功能。
据我所见，直接复制文件当然不是推荐的方法，但是如果我们能够保证两台机器上一致的MySQL版本，并且在传输过程中没有使用表，那么我们能做到这一点吗？如果是这样的话，除了复制.frm、.MYD和.
浏览 0提问于2015-02-02得票数 2
回答已采纳
我有两个显示器，我想让我的设置像这样：
Monitor =固定桌面(仅1)
监视器=动态的旋转桌面(1+)
一开始它是这样工作的，但不知怎么我改变了这种行为。现在，当我旋转的时候，他们两个都有多台台式机，这对我来说是不可能的。
有什么办法像以前那样设置它吗？我在用最新的侏儒。
浏览 0提问于2014-11-05得票数 1
1回答
我正在开发一个应用程序，用户可以在其中设置多个位置。当用户使用进入或离开特定区域时，我成功地显示了通知。
现在，有一种情况，我需要提供监测所有保存的地点，它可以是数百和更多。我在给定的链接上读到“您可以有多个活动的地理位置，每个设备用户的活动地理位置限制为100”。
有没有办法为每个设备用户添加超过100个地理位置？
谢谢!
浏览 2提问于2015-04-16得票数 5
1回答
情节循环真的很慢
、、
我正在编写一个代码来拟合一个函数上的高斯，如果我不绘制结果(这是一个~60x60光谱的datacube，所以我使用一个循环)，代码工作得非常快。
但是当我说要绘制每个图的代码时，它会变得非常慢，大约是每秒2张图(当我不画的时候，它会像40)。
好的，我知道慢下来是对的，但是IDL中有一段代码做同样的事情，代码每秒运行8~10块。
有什么办法可以改进吗？还是python真的比IDL慢？
下面是情节代码：
plt.plot(wavelengthset, data_datacube[minpixel:maxpixel+1, j, i], 'k-',
wavelen
浏览 1提问于2015-02-23得票数 0
回答已采纳
我指的是以下链接：
上面写着：
"Spark支持与Hive不同的用例。“
我不知道为何会这样。这是否意味着作为一个Hive用户，我不能通过Spark使用火花执行引擎？
一些问题：
Spark使用Hive查询解析器。因此，理想情况下，它将支持所有的Hive功能。
它会使用蜂巢吗？
Hive是使用星火优化器还是构建自己的优化器？
蜂巢会把乔布斯翻译成火花吗？还是使用其他的范例？
浏览 4提问于2014-08-27得票数 1
回答已采纳
在我的应用程序中，我向服务器检查main活动的onCreate()方法中的一些用户状态。
我最近注意到，当我在手机休眠(关闭屏幕，锁定)的情况下从Eclipse运行应用程序时，这样做是一个问题。在这种情况下，应用程序等待屏幕解锁，然后调用onStart()方法并继续执行它的操作。这会导致数据更新失败。
也许我应该把它放到onStart里面？
用户是否可以执行相同的过程=在锁定屏幕的情况下启动应用？我想到了Tasker，但是有没有别的办法呢？
编辑:所有服务器更新通信都是在主线程之外完成的，由管理类处理，我使用volley。所以这不是一个服务，虽然我会在稍后添加一个，但我现在没有足够的时间这样做
浏览 0提问于2013-10-28得票数 0
MLOPs一直在增长，很多“财富”500强的公司正在专门为MLOPs.Can创建团队，有人能帮我理解吗？
为什么MLOPs获得了如此多的吸引力？
它与DevOps有何不同？
用于MLOPs的工具是什么？
我如何为MLOPs创建一个策略？
怎么开始？
浏览 0提问于2022-02-11得票数 0
我想购买一个工作站进行数据处理，使用MATLAB。我在考虑戴尔的两个工作站之一。低端工作站(3500)在6个DIMM中具有一个单处理器和24 GB内存。高端(7500)将只允许我选择24 GB的内存(在12 DIMM)，如果我选择双处理器选项。两者之间的区别似乎是
戴尔精密T3500有一个三通道内存总线架构。Dell精密T7500每个处理器都有一个三通道内存总线结构
这是否意味着每个处理器获得12 GB内存，而处理器A上的线程不能看到与处理器B相同的内存？这似乎不太可能，但可能对A访问B的内存有性能损失吗？
浏览 0提问于2010-11-29得票数 3
回答已采纳
2回答
我习惯于设计复杂的软件，其复杂性在于用户之间的交互。我学到的敏捷软件工程原理对于这类场景非常有用。当大多数计划都围绕着用户的交互时，用户故事很容易写出。
我现在正在开发一个系统，在这个系统中，用户唯一的干预就是点击go按钮，如果出现错误，就读取错误。
本系统的所有其他工作都是在数据处理和非常繁重的数据处理。在这个处理流程中，我有大约5种不同的数据转换计划。
这些过程本质上是松散耦合的，因此它们应该很容易规划为不同的流程，然后工作到工作流中。尽管如此，数据驱动过程的规划问题仍然存在，但规模较小。
如何规划像这样的数据驱动的过程？这种类型的软件有任何已知的设计过程吗？
浏览 1提问于2011-12-14得票数 0
回答已采纳
我刚从gmail收到一条错误消息，通知我他们的杀毒扫描器是不活动的。因此，我刚刚收到的电子邮件附件没有被扫描。该怎么办呢？因为我使用的是Ubuntu机器，所以忽略错误消息对我来说安全吗？
浏览 0提问于2018-08-03得票数 0
我有一个mailchimp活动文件夹Production，里面有5个活动
如果我通过操场调用campaign-folders API，结果是5，所以一切都很好。
现在，如果我通过操场调用子资源，它只返回3 。
您可以在控制台上看到没有其他过滤器。
我在我的节点应用程序w/c调用上也有这个问题，http GET MAILCHIMP_V3_API_URL/campaigns w/c也不返回没有出现在Production活动文件夹中的活动，W/c是为什么我试图在操场上进行API调用以澄清我的一些假设。
知道为什么会这样吗？会感谢你的帮助。谢谢!
浏览 0提问于2018-04-17得票数 2
回答已采纳
3回答
我在Virtual (windows主机)中使用Ubuntu11.10。
到目前为止，我已经：
安装了gnome-shell
清除了gnome的可访问性主题
安装了gnome标准主题
使用gnome调整工具选择正确的窗口主题等。
除了“热角”，一切似乎都正常，即当你把鼠标移到活动角的角落时，就会产生连锁反应(至少在Fedora 15中，我第一次测试gnome-shell时是这样的)。
有什么想法吗？
浏览 0提问于2011-09-19得票数 2
回答已采纳
3回答
亲爱的所有人..。我有一个使用Mysql构建的DB。
在这种情况下，我想访问另一个服务器PC，它在firebird中具有DB。我想从里面得到一些数据。两个DB总是连接在一起的，因为我每次都必须获取数据。这是一个调度数据，所以我必须始终从mysql连接到firebird。
但是我没有在Mysql和firebird之间建立连接的经验。你能告诉我怎么做吗？
什么是我必须选择的最好的方式，做一些迁移或转换或可能使同步。？任何预支都将是appreciate.thanks。
我可以先调用firebird 1(使用ibase_connect)然后将数据插入mysql吗？我不知道如何插入数据到Mysql后，
浏览 0提问于2010-11-05得票数 1
回答已采纳
我们正试图从Sitecore 8.1中提取分析数据。我们在以前的版本中使用过约定智能Datamart工具，但这与最新版本不兼容。请您提出一些方法来导出分析数据，以便与另一种报告工具一起使用，比如Power。
浏览 3提问于2016-11-23得票数 1
回答已采纳
Hadoop地图-减少和它的回声系统(如蜂巢..)我们通常用于批处理。但是我想知道是否有任何方法可以使用hadoop MapReduce作为实时数据处理的例子，比如实时结果，实时tweet。
如果不是，实时数据处理或分析的替代方案是什么？
浏览 0提问于2018-12-18得票数 2
回答已采纳
1回答
我对android和片段并不熟悉，所以我的问题是在应用程序数据库中存储值的适当方法。
从活动中调用片段并传递数据库处理程序？
ExampleFragment fragment = (ExampleFragment) getFragmentManager().findFragmentById(R.id.example_fragment);
fragment.<specific_function_name>(dbhandler);
还是从片段中调用活动方法？
import mainActivity;
...
mainActivity currentActivity=(mainActi
浏览 1提问于2014-08-31得票数 0
回答已采纳
1回答
我有一个像下面这样的数据，
df=spark.sql('select * from <table_name>')
++++++++++++++++++++++++++++++++++++++
| Name | Max | Name | Avg |
++++++++++++++++++++++++++++++++++++++
| pouser1 | 1.0 | 2.0 | 3.0 |
| pouser2 | 1.0 | 2.0 | 3.0 |
| pouser3 | 1.0 | 2.0 | 3.
浏览 7提问于2022-09-14得票数 0
1回答
Matlab和网站
、、、、
我有一个项目，我将利用图像处理和神经网络。我使用的工具是matlab。该系统是一个基于web的系统，我所见和使用的示例目前都是基于桌面的。有人知道我将如何在图像处理和神经网络部分之上创建一个网站层吗？
最简单的结构如下所示
网站->通过图像处理提供输入->过程，神经网络->在网站中提供输出
虽然这将工作，另外，如果可能的话，我也希望与过程中的网站更多的互动，就像当我不想控制一些阈值的强度在某些部分关于图像处理
此外，我还需要写到数据库，mysql，如果可能的话
这将是一个额外的，如果我可以结合java EE与matlab，因为我已经有代码，我可以从Java使用。然而，强制性要
浏览 1提问于2012-04-24得票数 2
我们可以在tableau计算字段中使用循环函数(for，while，do while)吗？如果可以，我们如何在计算字段中使用这些函数，以及如何初始化在这些函数中声明的变量？
浏览 1提问于2014-11-13得票数 4
1回答
我用Facebook提供的自定义故事图工具制作了一个应用程序，而且我大部分时间都在使用它。我能够使用用户ID发送post请求(在本例中我使用的是'me‘，但应该没关系，对吧？)虽然我可以在我的活动日志中清晰地看到它，但它不会出现在我的个人页面上。
是的，我已经把它从“允许时间线”改为“显示时间线”。
但还是什么也没有出现。我唯一的猜测是，这可能与我在post上传递给它的参数有关，但它们都是有效的。
在我开始给地图添加坐标之前，它确实出现了。但很明显没有任何坐标。
我现在就是这样发帖的：
有什么建议吗？
浏览 3提问于2014-02-19得票数 0
回答已采纳
def bestInvitation(first, second):
yeah=tuple(zip(first, second))
res=list(set.intersection(*map(set, yeah)))
common=str(res)
count=0
for i in yeah:
if common in i:
count+=1
return count
if __name__ == '__main__':
print(bestInvitation(["fi
浏览 7提问于2020-11-09得票数 0
我想提取一个Salesforce报告到一个CSV文件，并把它放到我的FTP位置。我想把这作为一项夜间安排的任务。
在Salesforce有直接的方法吗？
谢谢。
编辑--我最终使用了dataloader来安排Windows中的作业，以提取我想要的信息。
浏览 9提问于2014-11-07得票数 1
回答已采纳
2回答
我知道有像Salamander这样的工具可以将.NET WinForms应用编译成完全原生代码，而不需要在机器上安装CLR/.NET框架。这对WPF应用程序来说也是可能的吗？
浏览 2提问于2010-02-13得票数 2
2回答
我有一个带有NavigationDrawer和全屏片段的活动。单击NavigationDrawer中的各种项会使活动中的一个不同的片段膨胀。
在启动不同的片段时，我也想在不同的工具栏中交换。我之所以想这样做而不是膨胀一个新的菜单，是因为我想要交换的工具栏有点复杂，里面有一些类似EditText的东西。
在膨胀碎片之前的活动中，或者在碎片中，有什么方法可以做到这一点吗？
浏览 4提问于2016-03-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
