1回答
我一直在对两位作者的电子邮件进行分类。我成功地使用了监督学习和文本向量化、主成分分析和SelectPercentile特征选择来执行同样的任务。我用科学工具-学习包来实现同样的目标。
现在，我也想尝试使用无监督学习KMeans算法将电子邮件聚类成两组。我已经创建了dataset，其中将每个数据点作为python列表中的一行。因为我是一个新手，没有监督，所以我想问，我是否可以应用相同的降维工具，在监督(TFIDF和SelectPercentile)。如果不是，他们的对应方是什么？我正在使用scikit-学习它的编码。
我环顾四周，发现堆积如山，但没有得到令人满意的答案。我真的被困在这一点上了。
浏览 4提问于2016-05-27得票数 2
回答已采纳
我希望我的用户能够创建电子邮件模板。这意味着值(甚至可能是超文本标记语言)必须存储在某个地方(如果可能，我更喜欢MySQL )。
我能想到的只有两个解决方案:半自定义模板：-应用程序提供HTML，用户可以更改CSS，我将这些CSS值存储在我的数据库中(因此，一个可能的键值解决方案可能是可能的)
完整的自定义模板：-我必须将整个HTML代码存储在我的数据库中
它们看起来并不都是完美的。将有大量的数据真的很快，这将减慢我的数据库时，将有很多用户使用这个模板系统。
我还有其他选择吗？
浏览 2提问于2015-12-16得票数 0
我们需要跟踪不同时间段的用户活动，如24小时，7天等。我们预计不会有很大数量的不同时期，但用户数量将非常大，可能在数百万。每晚cronjob汇总每个用户的统计数据听起来并不合理。我知道过去我曾用RRD表这样跟踪网络使用情况，但这些只是BerkeleyDB的，而且每个统计数据必须有一个文件，这是行不通的，但这个想法似乎是我想要的。有没有我忽略的模式/最佳实践？
浏览 1提问于2011-12-31得票数 2
回答已采纳
物联网、大数据、云计算、人工智能之间的关系如何？
大数据、云计算，人工智能的发展，对物联网会有哪些帮助？
浏览 2568提问于2018-04-12
大数据是最近两年提出的，而数据挖掘上世纪就提出来了。我想知道的是，现在大数据的背景下，采用的数据挖掘算法跟之前传统的数据挖掘算法有什么本质上的不同？如果没有不同，那又是什么关系呢？
浏览 1424提问于2018-04-03
2回答
嘿，伙计们，我有个小问题。
有没有人知道可以帮助理解客户端-服务器日志的软件？
我有3个巨大的日志，其中有1个服务器和2个客户端，它们都有时间戳，但只有当我能按时间顺序在UI中并排排列它们时，我才能很容易地理解它们。
感谢你对这类软件的任何建议。(或者可能是一些对我有帮助的想法。)3
编辑:样机图像有蓝色的线分区，以毫秒为单位分隔时间。这只是为了可视化。
浏览 2提问于2010-10-26得票数 0
1回答
最近我偶然发现学习hadoop，我所发现的只是读取文本数据和计算字数的示例。所有的例子或多或少都有相同的任务。请帮我理解一下，这是hadoop的唯一用例吗？请为我提供一些参考资料，以了解更多真实的用例，或者在哪些地方我可以理解和编写可以使用hadoop的地方。
谢谢
浏览 2提问于2012-09-11得票数 0
我现在要成为一名硕士了，我的老师的研究方向是对高维海量数据进行数据挖掘。
但我仍然无法想象什么是海量数据，以及多少维可以被称为高维。
tks~
浏览 1提问于2011-06-22得票数 0
2回答
我有一个巨大的(GB的) twitter数据提要，JSON格式的analysed.Each tweet被表示为一个json对象。
答:从这些提要中提取对话。b:查找统计数据
记录的示例格式
1.请建议提取所需信息的一般方法。2.要使用的最佳语言( java或任何其他语言)3.过程概述(如果它是用java完成的)(如文件处理等)4.与此问题相关的任何有用的参考链接。
注意:数据由数百万个JSON对象组成。
浏览 2提问于2014-08-14得票数 0
4回答
我有一个ASP.NET应用程序，它可以上传多兆字节的文件，将它们写到磁盘上，然后MSSQL2008用BCP加载它们。
我想把整个东西都移到Azure上，但是由于没有BCP的“文件”，有人能评论一下如何从Azure应用程序中获取批量数据到SQL Azure中吗？
我确实看到了，但不确定这是否适用。
谢谢。
浏览 0提问于2011-06-15得票数 16
回答已采纳
3回答
我的应用程序每天都会构造大量日志。我曾经使用crontab和一些Java应用程序将这些数据存储到MySQL中。另外我还开发了一个管理系统，它的功能主要是基于MySQL对这些数据的分析。我的应用程序没有在一个web-app服务器上运行。因此，直接基于日志文件分析数据并不是一种很好的方法。但是由于日志文件越来越大，crontab需要很长时间才能完全存储日志文件，所以无法进行实时分析。那么，为了获得实时分析，可以进行哪些优化？
浏览 1提问于2012-02-15得票数 3
1回答
我有超过20K个样本的gwas微阵列实验数据结果。每个样本具有大约1.000.000个标记的数值输出值。所以我有一个20000 x 1000000的理论表。最终目标是创建一个web服务，以便显示少量样本的输出值。我有几十个变量来构建查询。我的问题是如何以一种有效的方式创建这种数据库。对于这么大的数据量，MySQL是最好的选择，还是只依赖于服务器硬件？
提前谢谢。
浏览 0提问于2018-02-05得票数 0
2回答
日安！
我有350 80的非结构化数据，按50-80列分类。
我需要将这些数据存储在NoSQL数据库中，并执行按40列过滤的各种选择和映射/还原查询。
我想使用mongodb，所以我有一个确定的问题:这个数据库能够处理这个任务吗?在现有的提供者hetzner.de中，我需要什么来实现它的架构？
浏览 3提问于2012-01-16得票数 0
1回答
我正在抓取一个包含2M数据的网页，用Watir滚动页面，而不是用Nokogiri获取数据。我可以通过一次请求获取所有数据。
我需要将所有数据保存到数据库中。我想知道哪种方法是最快的。
我是否应该制作一个类似这样的each：
users = doc.css('div.container > div ')
users.each do |a|
User.name = a.css('p.name').text
User.age = a.css('p.surname').text
User.save!
end
或者首先，将数据存储
浏览 0提问于2019-08-22得票数 0
4回答
数据集和数据库之间的区别是什么？如果它们是不同的，那么如何呢？
为什么现在使用数据库很难管理海量数据？！
请回答独立于任何编程语言。
浏览 2提问于2011-10-16得票数 19
回答已采纳
大数据属新兴领域，专业人才匮乏，高端人才更是企业的争抢对象。踏入大数据领域的我们，高端的AI技术更是我们所需要了解的，而作为初入者，如何追赶大数据AI热潮？怎样去做，才能更加占据优势？
浏览 1216提问于2018-03-30
1回答
时间序列的子序列部分匹配
、、、、
我有一组时间序列数据(就像语音序列数据)，其模式如第一个图(理论数据)所示。测量数据如第二图所示。我想要做的是定位/查找后续的模式，如红色方块中所示。有什么算法可以解决这个问题吗？这看起来像是机器学习中的分类/回归问题，但我不知道如何开始。
📷
📷
浏览 0提问于2020-10-16得票数 2
回答已采纳
1回答
处理大量数据
、、、
因此，我正在使用参数化能量模拟，并最终得到存储在.CSV文件中的数据的500GB+。我需要能够处理所有这些数据来比较结果，并深入了解不同参数的影响。
每个csv文件名都包含用于模拟的参数信息，因此我无法合并这些文件。
我通常使用pandas并定义一个类将.csv文件加载到python中。但是现在(有了所有这些数据)没有足够的内存来做这件事。
你能告诉我一种处理这些数据的方法吗？我需要能够做绘图和比较csv文件。
谢谢您抽时间见我。
浏览 3提问于2016-10-01得票数 0
我想要不同的数据指标，比如CPU利用率，Zabbix代理的内存利用率，以及毫秒级的分辨率，而不是分钟级的分辨率。
我正在使用Zabbix Python API从Mysql Zabbix数据库检索指标，并注意到数据以分钟分辨率存储，如下所示：
Sl.NO Date Value
1 Monday, March 25, 2019 04:22:07 0.0700
2 Monday, March 25, 2019 04:23:07 0.0600
3 Monday, March 25, 2019 04:24:07 0.1400
浏览 1提问于2019-03-26得票数 0
3回答
实施大规模日志文件分析
、、、
有没有人能给我一个参考资料，或者提供一个像Facebook，Yahoo，Google等这样的公司是如何执行大规模(例如数TB范围)日志分析的，这些公司是如何进行运营分析的，特别是web分析？
特别关注web分析，我对两个密切相关的方面感兴趣:查询性能和数据存储。
我知道一般的方法是使用map reduce将每个查询分布在一个集群上(例如使用Hadoop)。但是，最有效的存储格式是什么？这是日志数据，因此我们可以假设每个事件都有一个时间戳，并且通常数据是结构化的，而不是稀疏的。大多数web分析查询涉及分析两个任意时间戳之间的数据切片，并检索该数据中的聚合统计数据或异常。
像Big Table (
浏览 3提问于2009-04-27得票数 4
回答已采纳
我有一个"STM32VLDISCOVERY“板()，我连接到我的Windows。
该板有一个集成的“ST-链接V2”程序员/调试器，基于"STM32F103C8“的微控制器，实际上与PC通讯。但是这种微控制器被认为是一种"USB大容量存储设备“。在“设备管理器”中，它位于Disk drives/STM32下面。
如果我右键单击它并遵循Properties/Driver/Driver Deatils/，就不会列出ST驱动程序。只有一些Windows默认驱动程序用于此设备：
现在我切断了板子。
如文档中所述，我们只需安装"ST-Link V2“Window
浏览 22提问于2022-03-30得票数 1
我有一个托管在Azure上的flask API，我正在使用azure_storage_logging.handlers包将API运行时日志发送到Azure Storage。我正在使用BlobStorageRotatingFileHandler。我在存储帐户中收到的日志很少。然而，大量的日志丢失了。我的API是CPU密集型的。请告诉我如何解决这个问题。
def fun_logging(id, logfilename , loggername):
mystorageaccountname = STORAGE_ACCOUNT_NAME
mystorageaccountkey = ST
浏览 2提问于2018-11-20得票数 0
2回答
我正在尝试对6500条记录的数据帧运行RFSRC，其中包含59个变量：
rfsrc_test <- rfsrc(Surv(TIME, DIED) ~ ., data=test, nsplit=10, na.action = "na.impute")
当我在1500条记录上运行它时，它似乎可以工作，但在整个数据集上崩溃。
它在没有任何特定错误的情况下崩溃了--有时它会给出“异常处理错误”。
你有什么想法怎么调试这个吗？我在数据库中浏览了一下奇怪的行，但一无所获。
浏览 0提问于2018-11-29得票数 2
2回答
我正在尝试对数据库(Microsoft SQL Server)中的几个表执行SQL Server转储。我们没有对数据库的写访问权限，所以我们不能做我最初想做的事情(创建temp DB，复制表(减去我们不想要的列到temp db中，然后转储该db)。我真的想不出办法来做这件事。
csv导出不起作用(几乎不可能将数据放在换行符的正确字段b/c中)。
有什么建议吗？
浏览 4提问于2009-10-31得票数 0
1回答
我正在寻找一个具有并发的大规模并行处理系统，它可以为每500毫秒100多万台IoT设备提供无缝的数据摄取解决方案。
寻找开源的、高度可扩展的、不同协议的丰富的库，支持ESB，并且可以无故障地管理多线程。
是阿帕奇光束，阿帕奇Nifi或阿帕奇骆驼或WSO2更好的选择。
浏览 2提问于2018-07-30得票数 0
1回答
我需要以某种方式将数据从一个数据库复制到另一个数据库。我想最好的选择是SqlBulkCopy。问题是，我的表product有另外5个表与产品ID连接。例如，产品与Product_picture (pictureID，productID)相连。有没有办法将Product和所有具有ID (或Identity)的其他连接表从一个数据库复制到另一个数据库？
浏览 2提问于2013-09-30得票数 1
1回答
有谁能解释一下Apache和Google之间的关键区别吗？
哪个更好(hadoop还是google大数据)。
浏览 1提问于2015-05-16得票数 9
回答已采纳
我知道hibernate搜索在通过Hibernate更新数据时会进行重新索引。但是，如果我希望它在数据库发生更改时进行索引(而不经过hibernate)，该怎么办？我应该做什么配置？
浏览 9提问于2016-02-05得票数 0
回答已采纳
1回答
我正在构建一个使用大量小数据文件的iPhone应用程序。当应用程序中的文件总数小于64K时，一切都符合要求，并上传到Apple。当它更大时，它会在模拟器上编译和运行，但在使用Xcode组织者准备上传应用程序时无法进行验证。错误如下：
验证阶段失败，错误为"(null)不是有效的zip文件: ZipContainer文件:无法转到第一个文件(-1)“
那么，有没有办法修复Zip实用程序，或者苹果在这方面施加了限制？
浏览 0提问于2012-06-25得票数 1
1回答
如何在andEngine中设置动态体的用户海量数据。我的问题是，在我的游戏中，当我提高运动员的运行速度时，跳上的球员用x轴覆盖很远的距离。这个距离随着速度的变化而变化。任何解决办法请..。
浏览 0提问于2012-08-30得票数 2
回答已采纳
2回答
我有100多万行，我检查是否有更改，然后更新。我完成了我的程序，检查每条记录，然后更新数据库。但是这个操作需要几个小时才能使用多线程完成。我优化了查询、插入和检查，以最大限度地减少数据库负载。我取得了更好的结果，但速度非常慢。
有没有办法在内存中维护一个具有正确记录的DataTable，然后在一次更新中将整个数据结构作为“虚拟表”上传到SQL server，让SQL server处理更新？
我在过去看到过类似的情况，它是通过Posrgre服务器上的函数完成的(不涉及C#)。我需要我的程序在几分钟内完成，而不是几个小时。
浏览 0提问于2012-12-07得票数 0
回答已采纳
1回答
我有来自不同DB来源的大量数据(甲骨文、蒙戈、卡桑德拉)，也有卡夫卡提供的数据。使用Tableau进行分析，面对海量数据的性能问题。因此，计划以其他方式存储数据，并使用Tableau进行可视化。现在有多个选项，需要一些帮助才能最终确定方法。
选项1:-
读取DB数据并将其存储在Parquet文件中，然后通过Spark或HiveQL或Presto公开它，并让Tableau连接到此SQL。
选项2:-
读取DB数据并将它们存储在S3中的Parquet文件中，然后使用AWS雅典娜进行分析，让Tableau连接到雅典娜。
选项3:-
读取DB数据并将它们存储在S3中的Parquet文件中，然后移动到R
浏览 2提问于2020-10-09得票数 0
2回答
视图还是持久化表？
、、、、
在构建数据仓库时，我通常看到ETL过程的两种主要方法：
1.视图-.
方法一显然在数据库中，它的优点是您没有那么多冗余数据，但可能会导致性能问题。
2.阶段表(数据副本)-清除表(数据副本)- dwh表(数据副本)-.
第二种方法可以通过存储过程和作业等许多工具或者像SSIS这样的ETL工具来完成。这里的优点是很容易理解这个过程，因为你可以很好地想象它。您通常也有一个非常好的整体ETL-性能和许多预定义的任务等。一个问题可能是，一个过程的改变是更复杂的，因为持久化的表必须改变。
在现实世界中，你通常会看到两者兼而有之，特别是当很多人都在这个过程中工作的时候。当然，它也取决于情况(表的大小，该公
浏览 7提问于2015-05-30得票数 4
2回答
存储用户数据iOS
、、、
我是第一次开发iPhone应用程序。我知道用户名和密码通常存储在KeyChain中。像FirstName、ProfilePictureUrl这样的数据，我是从rest api中获取的。由于这些数据(名字...)几乎没有变化，我想把它存储在本地的某个地方。我也用KeyChain吗? SHould？或者是SQLLite？XML？
谢谢
浏览 2提问于2012-03-11得票数 0
回答已采纳
1回答
我正在尝试将机器学习应用于Kaggle.com数据集。我的数据集的维度是244768 x 34756。现在，在这种规模下，所有的scikit算法都不起作用。
我想我会应用PCA，但即使这样也不能扩展到这个数据集。
有什么方法可以减少我的训练数据集中的冗余数据吗？我可以通过应用PCA来降维，但如果我可以应用PCA。
由于我正在进行文档分类，因此通过减小单词向量大小，我将数据集重新采样为244768*5672。即使是这个数据集，PCA也不能应用。
我可以通过这种方法来应用PCA吗？假设我的矩阵是A-X=A。T*A pca (X ) (X变成5672 x 5672矩阵)，这会给我错误的答案吗？
另外
浏览 0提问于2015-04-03得票数 1
谷歌不提供免费的PostgreSQL实例，但Heroku提供。正因为如此，我想要对除数据库之外的所有东西使用GCP。有什么方法可以从Google函数连接到Heroku数据库吗？
我是谷歌云的新手，对创建和托管Express应用程序非常熟悉。我知道使用Express这样的包可以用来建立像这样的连接：
const express = require("express");
const massive = require("massive");
const { CONNECTION_STRING } = process.env;
const app = expres
浏览 7提问于2022-06-12得票数 1
2回答
我有一个包含GPS坐标(纬度和经度)的数据集，一个时间戳变量和一个识别不同人的主题ID。我想探讨的是两件事：
找出主体之间共享的路线(或路线的一部分)，例如，人们从他们家所在的不同地方出发，然后沿着主要公路上班。
找相关的话题。与前一个相关，这些主题是相似的(例如，考虑到它们用于通勤的时间)
我查看了动态时间扭曲，如这里所示，但它没有考虑到，例如，主题可以来自不同的点(但共享一个片段)。
尝试实现K-方法，但我不确定如何定义我的质心(是否应该考虑时间)，就像在这里中讨论的那样，不确定相似性距离在这种情况下是否做出了正确的假设。
我查看了一些论文上的内容，但它们通常与预定义的点A和B一起工作，并
浏览 0提问于2018-12-22得票数 2
回答已采纳
1回答
我有一个位置自动完成领域，有自动完成为所有国家，城市，邻里，村庄，邮政编码。这是我正在为我的网站构建的位置跟踪功能的一部分。所以你可以想象这个列表将会有数百万行。预计至少超过2000万，包括所有的村庄和密码。为了让自动补全很好地工作，我将使用memcached，这样我们就不会总是访问数据库来获取这个列表。它将被大量使用，因为这是网站上的主要功能。但问题是：
是否只有1个列表实例存储在memcached中，而不管用户提取信息，还是需要为每个实例维护一个单独的实例？那么，假设有2000万人同时使用它，这与只有一个人使用位置自动完成功能有区别吗？我对其他想法也是开放的，如何实现这个位置自动完成，以便
浏览 2提问于2010-11-22得票数 1
1回答
腾讯云数据库的扩容是只支持扩容只读实例，而且只支持创建5个只读实例。如果这样扩容之后依然不能满足业务需求，那该怎么办？多个主实例能否构成一个数据库集群，从而提高数据库的性能？
浏览 561提问于2019-04-10
1回答
图形数据库功能
、、、
最近我开始了解图形数据库，我读到这些数据库的分析能力有限。我在这里读到“在这种类型的数据库平台上，跟踪使用模式和提供基于用户历史的建议可能在最好的情况下是困难的，在最坏的情况下是不可能的。”
1我不能理解为什么这种分析在这里是有限的？
2如何使用这些数据库图形进行归档，例如facebook，它保存了数百万用户的所有帖子。如何在图形数据库中做到这一点？
浏览 1提问于2011-03-27得票数 0
回答已采纳
2回答
我正在尝试为我的网站实现一个实时搜索。在给定的字符串中标识单词或单词部分的人。然后，即时结果在与查询匹配的位置加下划线。
例如，查询“油炸绿色西红柿”将产生：
SELECT *
FROM articles
WHERE (title LIKE '%fried%' OR
title LIKE '%green%' OR
title LIKE '%tomatoes%)
这在一个非常小的数据集上工作得很好。但是，一旦数据库中的记录数量增加，这种查询很快就会变得低效，因为它不能利用索引。
我知道从技术上讲，这是MySQL中全文搜索的目
浏览 0提问于2010-10-15得票数 0
回答已采纳
2回答
我正在编写一个使用Mysql的应用程序，目前我的表中没有太多数据。我想测试一下我的应用程序是如何处理大量数据的。为了做到这一点，我需要结果集中的每一行重复自己几次。
我知道我可以运行查询并将其与相同的查询联合，并将其与相同的查询联合。有没有其他方法可以让我更容易地选择将发生多少重复？
浏览 1提问于2011-05-11得票数 0
1回答
我正在与cloudkit仪表板交互，并查看我的应用程序收集的数据。
如何从仪表板( data -> csv或json)导出所有数据，以便对其进行一些分析？
谢谢!
浏览 18提问于2016-07-27得票数 7
sourceforge.net是否提供了任何类型的应用程序接口，用于以编程方式访问其数据库，例如，用于搜索使用某种编程语言的所有项目？
浏览 0提问于2009-10-14得票数 5
我正在尝试在安装并构建了dpdk和librdkafka的VM(ubuntu20.04)上运行fastcapa (metron项目)。但是当我运行这个命令时，我得到了这个错误: cmnd：sudo ./fastca pa -c 0x0f -n 1 --huge-dir /mnt/huge_1GB -- -p 0x00 -t pcap -c /
浏览 12提问于2021-03-01得票数 0
1回答
无法卸载mtp
、、
按时间顺序排列的事件：
在我通过数据线连接我朋友的电话(摩托罗拉G2)前两天，但不知怎么它没有正确地挂载，所以我不得不卸载它
它未正确地挂载，但是一个奇怪的名为mtp的挂载自动挂载，无法打开。
我尝试卸载它，但它没有卸载，返回一个错误，并且在/media中没有名为mtp的文件夹可以删除以卸载它。
重新启动系统后，没有遇到任何问题，名为mtp的驱动器不会再次出现。
今天，我通过数据电缆从手机(Honor 4x)传输了一些数据，传输数据没有问题，但是当我卸载Android驱动器时，mtp驱动器开始一次又一次地显示相同的问题。
现在这个mtp是什么，它怎么能被安全地卸载，这样它就不会再次出现，为什么
浏览 0提问于2016-05-24得票数 2
回答已采纳
有没有办法用BigQuery运行实时分析？我使用了CSV upload选项，该选项启动一个作业并以脱机模式加载数据，加载完成后可以对其进行分析。但在关于BigQuery的公告中，提到了使用BigQuery进行实时分析。如何才能做到这一点？我们可以将数据从Google Cloud数据库追加(无更新)到BigQuery中，以进行实时分析吗？
顺便提一下，我注意到BigQuery CSV数据加载速度比我本地PC上使用10 PC数据文件运行的LucidDB和InfiniDB慢一个数量级。完成BigQuery作业需要34分钟，而在InfiniDB和LucidDB上只需要5分钟。与InfiniDB相比，查
浏览 0提问于2012-05-02得票数 3
回答已采纳
2回答
使用Rails和一个仅附加的数据库(Google BigQuery)，软删除的最佳实践是什么？我考虑的模式是为每次更新/删除添加一个新行，并且只收集最近的记录。但我不确定有什么干净的方法能用活跃的记录。还有其他建议的模式/最佳做法吗？
浏览 4提问于2016-04-04得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
