CouchDB可以每天处理1500万条记录吗？
当然可以。CouchDB是一种开源的NoSQL数据库，它可以轻松地处理大量的数据。CouchDB的设计目标是为了提供可扩展性、高可用性和高性能，因此它可以很好地处理每天1500万条记录的数据量。
CouchDB的优势在于它的简单性和可扩展性。它使用了RESTful API，因此可以轻松地与各种编程语言和平台进行集成。此外，CouchDB还支持多版本并发控制，可以确保数据的一致性和可靠性。
CouchDB的应用场景包括：
- 文档存储：CouchDB可以很好地存储和管理大量的文档数据，例如电子邮件、文章、PDF文件等。
- 实时数据同步：CouchDB支持实时数据同步，可以在多个设备之间同步数据，例如在移动设备上进行编辑，然后在桌面上同步数据。
- 离线访问：CouchDB支持离线访问，可以在没有网络连接的情况下访问数据。
推荐的腾讯云相关产品：
- 腾讯云数据库：腾讯云数据库是一种高性能、高可用、可扩展的数据库服务，支持MySQL、PostgreSQL、MongoDB等多种数据库引擎。
- 腾讯云COS：腾讯云COS是一种高性能、高可靠的云存储服务，可以用于存储大量的文件和数据。
产品介绍链接地址：
相关·内容
1回答
目前，我正在为我的实习解决方案，处理多达100.000.000条记录，每天约10栏。我必须保存每一个记录，15天后我们有大约1.500.000.000个记录。
的情况:所以，每天我收到大约100.000.000条(也许还有几百万条)记录，用这些记录，我必须做一些计算/分析。为此，我正在考虑将Hadoop用于MapReduce和分布式计算。使用MapReduce模式，我可以创建每组100.000条记录，并将它们分布在集群上，以便进行一些分布式分析/计算。
我不知道这是否是一个好的解决办法，但如果你有什么其他我必须考虑的，请告诉我。
除此之外，我还必须存储所有这些记录，并每个月使用它们来改进我每天
浏览 3提问于2015-02-11得票数 0
我有400万条记录，需要每天从源到目标的数据负载，我们每天都在做截断。它需要大约9个小时，因为有10个表，每天加载400万条记录数据。你能告诉我如何提高我的表现吗？谢谢
浏览 2提问于2016-10-31得票数 0
我在MySQL中有大约1500万条记录(只读)，它将使用10个表的连接来获取。每天大约有50000条新记录被插入。今后数量还将继续增加。
每个记录将由一个java程序独立处理。将在同一记录上进行多次处理，并根据处理结果计算输出。
结果将存储在另一个数据库中。
处理应在一小时内完成。
我的问题是
如何以分布式方式设计处理引擎( java程序集群)，使处理尽可能快？更准确地说，我想在那个时候启动许多spot实例并完成处理。
mysql会成为读取瓶颈吗？
我对大数据解决方案没有任何经验。我应该使用火花或任何其他地图减少解决方案吗？如果是，那我该怎么做呢？
浏览 5提问于2015-08-25得票数 0
我对NoSQL数据库比较陌生，我必须为一个监控工具评估不同的NoSQL解决方案。
情况是这样的:一个数据只有100个字节大，但它们确实很多。一天内我们会收到大约1500万条记录...所以我目前正在测试9亿条记录(大约15 as作为SQL-Insert脚本)
我的问题是: Couchdb是否符合我的需求？我需要执行范围查询(在创建记录的日期)，并根据存储在数据中的“二级索引”定义的组对一些列进行汇总。)我知道MapReduce可能是计算这一点的最佳解决方案，但是CouchDB的JavaScript能够在可接受的时间内做到这一点吗？
我已经试过MongoDB了，但它真的很糟糕，MapReduce做
浏览 2提问于2011-07-04得票数 11
回答已采纳
1回答
我正面临着一个问题，也许这里有人能帮我解决。
我在一家商业智能公司工作，我想模拟我们产品的整个使用周期，就像我们的客户使用它的方式。
简而言之，我们的客户每天向他们的数据库插入大约2000万条记录，我们的产品在一天结束时处理新数据。
我想自动创建大约2000万条记录，并将它们插入到一些数据库中，每天(可能是MSSQL)。
我应该指出的是，记录的数量每天都应该在1500万到2500万之间变化。除此之外，数据应该插入到6个用外键链接的表中。
我通常使用Redgate的SQL生成器来创建数据，但据我所知，它适用于一次性数据生成，而不是我正在寻找的正在进行的数据生成。
如果有人知道适合这种情况的方法/
浏览 1提问于2013-10-20得票数 0
4回答
我有一个文件A，其中包含大约4000万条记录。我有另一个文件B，其中包含大约7000万条记录。现在我必须遍历文件A，搜索文件B中是否有条目的每条记录。如果有，则将条目写入文件C。
请建议如何在不影响内存的情况下，以最短的时间实现这一目标。我已经尝试过apache lucene，但它有创建索引的额外开销，因为包含7000万条记录的文件B每天都会更改(即，我们从外部系统获取此文件)，因此每天重新创建索引是非常过分的
浏览 0提问于2015-08-25得票数 2
2回答
我有4台MySQL服务器，每天接收约400万条记录。
在对聚合记录进行一些映射处理之后，我需要将所有插入的记录聚合到另一个主服务器。因此，这个新服务器应该每天接收大约1600万条记录。
我还需要尽可能实时地执行这个操作，所以我想每分钟运行一次脚本来实现同步。或者你可以建议的其他同步工具或机制。
因此，我想问的是：
MySQL是1600万至2000万个记录/天的正确选择吗？或者我应该试试别的(MongoDB，Elasticsearch，.等)
在这样的任务中，什么样的工具/语言能给出最佳的性能？
谢谢。
浏览 0提问于2018-04-20得票数 1
回答已采纳
我需要一个更好的方法来解决这个问题。
目前，我们有一张巨大的表格，大约有1500万条记录。我们计划在这个表上创建一个索引，但是由于大小较大，我们决定先删除记录，然后创建索引。这样做对吗？
急需尽快得到建议！
浏览 0提问于2013-11-17得票数 2
回答已采纳
考虑将我的MySQL架构迁移到AWS DynamoDB。我的应用程序需要每秒1,000 r/w请求。如何处理PHP/更新？让1,000名工作人员处理DynamoDB r/w似乎比MySQL r/w对CPU/内存的消耗要高。
我已经考虑过一个日志文件来存储更新的信息，然后创建脚本来处理日志文件以删除db负载--不管文件锁定有多大缺陷--如果有人对实现这一点有任何想法的话--300个单独的脚本将写入单个日志文件。然后，日志文件可以每分钟处理一次到数据库。不确定如何在不锁定的情况下实现这一点。服务器脚本是用PHP编写的。
当前安装MYSQL数据库(AWS上的RDS)
表A有500万条记录--主要
浏览 3提问于2016-05-30得票数 0
我们每天试图从数据库中提取数百万条记录，并在ERP系统中进行处理，我们面临着性能问题，在社区中有关于这个问题的解决方案吗？
在mule中处理记录的最佳方法是什么？那么我们是否应该使用批处理，或者是否有其他替代方案？如果我们使用批处理或任何其他解决方案，我们如何才能使用它而不面临任何性能问题？
浏览 1提问于2016-12-15得票数 3
如何为分析服务构建合适的结构？目前，我有一个表，其中存储了使用我的客户端ID访问页面的每个用户的数据，因此稍后我的客户端将能够看到特定日期的统计数据。
我今天想了想，我想知道:假设我有1000个用户，每个人每天在他们的网站上都有大约1000次印象，这意味着我每天都会在一个表中获得100万条新记录。大约2个月后(当表达到6000万条记录时)，它将如何工作？
我只是在想，过一段时间，它将有如此多的记录，以至于PHP查询提取数据将非常繁重，缓慢，并占用大量资源，这是真的吗？如何防止这种情况发生？
我的一个朋友正在做类似的东西，他要为每个客户做一张新桌子，这是正确的方法吗？
谢谢!
浏览 0提问于2011-12-20得票数 6
我有一个系统，它每天接收大约1500万条记录(在单独的文件中，每个文件大约有15万条记录)。系统将这些文件从二进制转换为ascii，然后将数据馈送到多个下游系统。现在有了一个新的要求，我们必须加密每个记录中的一个字段(让我们称之为字段A)，字段A的长度始终在6到10位之间。
1.加密应该以结果只包含可打印字符的方式进行
2.性能在这里非常重要
3.我们在每条记录中都有其他字段，可用作加密/解密密钥，如日期、时间，但不能保证这些其他字段是唯一的(这不应该很重要)。
4.其他下游系统应该能够使用密钥解码结果(我对数据加密非常陌生，但我认为这个密钥称为私钥)。
5.我读过不同的关于SALTing的文
浏览 5提问于2011-09-20得票数 0
回答已采纳
我想要更新文档中的一个字段。我创建了一个新文档：
并且我想将字段name的值从aaa更改为test。我从wiki.apache.org/couchdb/Document_Update_Handlers复制了一个脚本，并创建了一个新的设计文档：
接下来，我创建了一个URL：
localhost:5984/asd/_design/temp/_update/in-place-query/8d6257096bbb199a3757954c00000d0c?name=title&value=test
这应该会更新我的字段。我看到的是错误：
"{"error
浏览 0提问于2015-12-11得票数 1
我每天都要导入将近一百万条记录，同时导入，进行过滤，然后添加数据库表。它导致性能问题，一些时间循环停止9999，有什么方法我可以在循环中进行线程处理吗？
启动百万线程是个好主意吗？
谢谢
浏览 5提问于2015-08-26得票数 0
回答已采纳
3回答
我每天有一百万条记录被插入。我的前端是C# 4.0，后端是MS SQL Server2008 R2。
我应该使用什么方法来获得最佳性能？我应该使用LINQ To SQL还是Enterprise Library 5.0或其他什么？
浏览 0提问于2011-09-22得票数 0
1回答
我正在创建一个视图来获取couchdb数据库中的具体值，在一个小型数据库中可以正常工作，但是当我有超过150万条记录时，就会出现一个异常:套接字挂起。我阅读了其他引用，比如，但是如果视图出现错误的话。在couchdb文档中，从未提到视图中记录的最大数量。有人知道我能做些什么来解决这个问题。如果我临时执行该视图，则会出现以下消息:查询数据库时发生错误(仅在有150万条记录的视图中)。
我使用下面的代码将couchdb与node.js连接起来，由于某种原因，这些代码几乎没有记录。
dbCouchdb.view("Where", "processId" , {key:
浏览 3提问于2014-04-09得票数 4
回答已采纳
我有一个问题，我正在加载一个非常大的表，其中包含大约1.5亿条记录的现有数据，它将继续增长，每天增加100万条记录。在运行了24小时后，basis.Few开始失败。在DFT中，我们有源查询拉取100万条记录，这是对具有1.5亿条记录的目标表进行LOOKed UP，以检查新记录。它失败了，因为查找无法保存1.5亿条记录的数据。我曾尝试将查找更改为Merge Join，但未成功。您能推荐一些替代设计来成功地将数据加载到大表中吗？此外，我没有办法减少目标表的大小。我已经在所有必需的列上建立了索引。希望我在解释场景时讲得很清楚。
浏览 0提问于2011-08-17得票数 0
2回答
我有一张桌子，而现在有五百万条记录，每一天记录增加20000到50000。我想要创建脚本，在这里我可以保存旧记录，并每天在现有表中添加所有新记录。我正在使用server 2008R2。
+------------+----------+-------------+-------------+
| Date | Activity | COnversions | Impressions |
+------------+----------+-------------+-------------+
| 03/03/2014 | Book | 52 | 1000
浏览 2提问于2014-03-04得票数 1
我有一个Postgres数据库，里面有数百万条记录，我想把它迁移到CouchDB。我知道如何将记录表示为文档，每个文档将有9个项目(4个整数、4个文本字符串和一个日期字符串)。
我的问题是:我真的需要编写一些东西来从现有数据创建我的初始数据库，而这些东西将不得不执行数百万次POST请求吗？我知道CouchDB通常很快，但在HTTP上做这件事让我觉得效率极低，甚至在本地主机HTTP上也很耗时。
HTTP是我唯一看到的API，所以当有人必须创建一个包含大量初始文档的数据库时，通常会这样做吗？
谢谢
浏览 0提问于2013-07-13得票数 2
回答已采纳
使用SQL Server2008 R2 Web Edition。我的表有30天的数据。每天有1200万条记录。每天，我需要导入1200万条新记录，删除1200万条最旧的记录。该表有两个索引，没有键。我正在使用BCP导入新数据。这需要在.5和2.5小时之间运行。我正在批量删除。删除操作需要20+几个小时。删除和重新创建索引似乎没有帮助。最快的解决方案是什么？
col1 varchar(10)
col2 varchar(10)
col3 int
col4 date
index1 (col1, col2, col4)
index2 (col4)
浏览 7提问于2015-11-05得票数 0
我们需要每天将数百万条记录加载到Cassandra，并使数据可搜索。如果我们使用sstableloader将记录加载到Cassandra，它们是否会为solr建立索引？solr api是加载记录的唯一方法吗？
浏览 0提问于2014-02-24得票数 0
我的couchdb中有以下示例文档。生产中的原始表大约有200万条记录。 {
{
"_id": "someid|goes|here",
"collected": {
"tags": ["abc", "def", "ghi"]
}
},
{
"_id": "someid1|goes|here",
"collected": {
浏览 8提问于2019-05-31得票数 0
回答已采纳
我试图使用PySpark ()函数将toPandas数据trying转换为。然而，它的失败！
我的电火花数据表包含超过1500万条记录。这似乎是个问题吗？
from pyspark.sql import *
from pyspark.sql.functions import *
from pyspark.sql.types import *
import pandas as pd
df = sqlContext.table("schema.table")
df_pd=df.toPandas()
获取以下错误：遇到错误:来自 的无效状态代码'400‘，错误
浏览 0提问于2020-05-20得票数 1
2回答
我很难决定哪一个更适合我的方案。此场景中涉及的维度包括：
雇员维数
╔═════════════╦════════════╦════════╦════════╦═══════════╦══════════╦════════╗EmployeeKey║EmployeeID║DeptID║StartDate║EndDate║Active║╠═════════════╬════════════╬════════╬════════╬═══════════╬══════════╬════════╣║1║1║1║9000║20150901║20150930║FALSE║║2║2║3║5000║20150
浏览 3提问于2015-09-30得票数 2
3回答
我需要每天从db2向oracle数据库传输大量数据(大约数百万条记录)。你能推荐最好的完善方法吗？
浏览 0提问于2011-01-26得票数 0
回答已采纳
我一直在摆弄英国邮政编码/坐标的全国地形测量局数据集。由于提供了一个免费的托管CouchDB实例，我想我应该把我的地理数据放到其中一个实例中，在这个过程中学习一些关于CouchDB的知识。
其想法是，由于CouchDB应该擅长处理大型数据集(邮政编码数据约为170万条记录)，并且本机使用REST/JSON，因此它将与客户端jQuery很好地结合在一起，以便与Google Maps应用程序一起使用。
我最初的目标只是能够以邮政编码作为参数进行AJAX调用，获得一个具有lat/lon属性的JSON对象，我可以在脚本中使用该对象(显示该邮政编码的标记)。
我已经成功地做到了这一点，但来自关系数据库背
浏览 1提问于2010-07-27得票数 7
回答已采纳
1回答
我正在尝试使用Spark将Hive表中的数据写入Kafka主题。
我正在写一个有900万条记录(每天)的数据帧到一个Kafka主题，使用查询：
val ds=df.selectExpr("topic", "CAST(key AS STRING)", "CAST(value AS STRING)")
.write.format("kafka").option("kafka.bootstrap.servers", "host1:port1,host2:port2").start()
这个查询能够将如此大
浏览 10提问于2019-07-22得票数 0
我有两个表(InnoDB)，一个有1500万条记录，另一个有1400万条记录，我需要基于“标题引用”对这些表进行左连接。我目前使用Innodb表，因为将来我可能需要向结果表中添加更多数据。查询从昨天开始就一直在进行。
此'Title_reference‘是一个varchar(20)，它不是主键，但在这两个表中都没有重复项。
我一直在检查表的状态，大约每两个小时更新一次。那么这是否意味着查询是活动的呢？
在进行连接时，我将1500万个表作为顺序中的第一个。
我在哪里犯了错？如何解决这个问题？
浏览 1提问于2011-04-29得票数 0
回答已采纳
谈到，我仍然是个业余爱好者。
我的任务是归档我们的生产数据库，这个数据库每天都在增长。我主要看的是事务表，仅仅是因为它们是生成数据最多的表(平均每天有一百万条记录)。
我知道，为了引用完整性的目的，它们从其中提取数据的表可能也需要存档。
如果需要报告的话，我还需要一种方法来尽可能快地查询这些存档的数据。有什么建议吗？
浏览 0提问于2016-11-23得票数 0
2回答
如何同时更新和添加新记录
、、、、
我有一个包含超过一百万条记录(产品)的表。现在，我每天都需要更新现有记录和/或添加新记录。
我没有一个接一个地做(需要几个小时)，而是设法使用SqlBulkCopy处理一堆记录，并设法在几秒钟内完成插入，但它只能处理新的插入。因此，我正在考虑创建一个包含新记录和旧记录的新表；然后使用该临时表(在SQL端)更新/添加到主表。
有什么建议吗?我该如何执行更新？
浏览 0提问于2012-12-11得票数 1
回答已采纳
我目前正在合并Windows数据库中的大型数据集。我想知道是否有一种方法可以避免以下错误：
40552 :由于过多的事务日志空间使用，会话已被终止。尝试在单个事务中修改较少的行。
我的数据集超过1500万条记录。
浏览 3提问于2013-01-14得票数 2
回答已采纳
1回答
嗨，我在生产表中有大约1000万条记录，在临时表中大约有1500万条记录，这里我需要比较分段数据与生产数据，如果有任何新的记录，然后插入它，如果有一些记录上的一些变化，然后更新列或插入新的column.So这种情况下的最好的方法是什么?请建议。
浏览 2提问于2014-02-01得票数 0
1回答
我可以在网络上找到所有关于将现有的MySQL数据库迁移到SimpleDB或CouchDB或诸如此类的东西的文章。
但是，如果我继续将数百万条记录迁移到Riak或CouchDB，有什么方法可以迁移回来吗？
从理论上讲，有没有可能重新生成关系数据库中没有明确索引的数据之间的所有关系，并重新生成所有关系？
例如:我在MySQL中有两个表，一个是person，一个是job，job与person相关-一对一的关系。
如果我将其切换到couchDB，person文档将把作业定义为关键字" job“文本值
在MySQL中，在couchDB中插入此关系非常简单。选择..合并然后转储一个person对象
浏览 0提问于2010-12-23得票数 2
我需要在一个现有的表中添加一个autonumber列，该表在SQL2005中有大约1500万条记录。
你觉得需要多长时间？做这件事的更好方法是什么？
浏览 0提问于2010-09-29得票数 1
回答已采纳
2回答
我是PHP新手，所以我需要一些指导，说明哪一个是最简单和/或优雅的解决以下问题的方法：
我正在做一个有多达50万条记录的项目，在用户指定的时间段，必须启动一个后台任务，它将在服务器上调用一个命令行应用程序，这个命令行应用程序发挥了神奇的作用，问题是，每隔1分钟左右，我就需要检查所有的50万条记录(以及计数)，如果需要做什么的话。
正如标题所指出的，这是时间的关键，这意味着在用户期望的时间和执行任务的时间之间可以允许最多1分钟的延迟，当然，延迟越少越好。
到目前为止，我只能想到一个非常脏的选项，有一个运行在服务器上的简单实用程序，它在每一分钟都会向服务器发出多个请求，例如：
检查记录在1到100
浏览 0提问于2011-12-23得票数 0
回答已采纳
1回答
我在couchdb中有以下模式的3000万条记录。
{ countryIso: 'TR'
, region: '68'
, city: 'Ankara'
, lat: '39.927200317383'
, lon: '32.864398956299'
, action: 'install'
, itime: 1288523291000 // That is unix timestamp
, fileId: 33221
, api_level: '3'
, display_size
浏览 2提问于2012-06-09得票数 1
回答已采纳
我们必须在多个表中插入两百万条记录，现在我们正在写入CSV文件，并使用db2导入将其加载到数据库中。
我们希望将此逻辑更改为某种JDBC。在研究多个选项时，我混淆了Spring JDBC模板和普通JDBC。
假设我想要将100万条记录插入到10个表中，每个表将有10万条记录，并且所有这些都是简单的JDBC语句(不是准备好的语句，因为我不知道在运行时处理的是哪个表)。
无论我们选择哪种系统，都需要为峰值请求插入多达1500万条记录。
哪个框架会更好？
浏览 8提问于2010-12-14得票数 2
2回答
乡亲们
我目前在一个电信项目上工作，正在处理CDR (通话详细信息记录)文件，在此基础上，我每天获得的reports.Records约为400万条记录，每月约有9000万条avg.we使用mysql数据库并运行存储过程来处理这些记录。问题是我们在运行查询时面临着性能问题。查询大约需要4分钟来处理和获取结果。
服务器RAM为4 4GB。
我担心的是
对于这类项目，我们使用的RAM是否足够
我想在这里得到一些严肃的DBA建议。
浏览 4提问于2013-09-20得票数 0
我目前正在研究一个后端，以便用于具有严格的数据聚合需求的项目。主要项目要求如下。
为每个用户存储数百万条记录。用户每年可能有100多万条条目，所以即使有100个用户，我们也要讨论每年1亿条条目。必须在这些条目上执行数据聚合。用户需要能够通过大量可用的过滤器对条目进行过滤，然后提供汇总(总计、平均值e.t.c)和结果图表。显然，我不能预先计算任何聚合结果，因为筛选器组合(以及结果集)是巨大的。用户将只能访问自己的数据，但是如果可以为所有数据计算匿名统计信息，那就太好了。数据大部分时间都是批处理的。用户每天都会上传数据，可能会有3000条记录。在一些较晚的版本中，可以有自动程序，每隔几分钟以较小的
浏览 3提问于2010-05-12得票数 10
回答已采纳
2回答
我们正在实现系统中的一个新特性，它将导致每天晚上从一个表中清除大约100万条记录(每个记录都很小，基本上是一个GUID、一个日期和四个smallint字段)。基本上它是一个缓存表，一旦数据使用7天，我们就会这样做：
DELETE FROM scheduleCache WHERE schDateCreated < '2013-08-26
它将在每天凌晨1点运行，每次运行时将清除大约100万条记录。
对于这样的桌子，我应该注意或做些什么呢？任何我应该放在表上的属性，或者任何我应该定期运行以“清理”的例程？我以前从来没处理过这样的桌子。
该表只有一个聚集索引(GUID + smalli
浏览 0提问于2013-08-26得票数 7
回答已采纳
我们正计划从一些表中归档较旧的数据。但在这样做之前，我们必须估计一旦清除较旧的记录，我们将获得多少空间。
例如，假设我们有一个ORDERS表，它占用了5 5Gb的磁盘空间。这个表中有1500多万条记录。我们有兴趣在2010年后保留记录。当我们查询2010年之前的记录时，我们已经获得了大约1200万条记录，我们正在计划存档和清除这些记录。
我们必须首先计算当我们删除这1200万条记录时，我们将获得多少可用空间。我们如何计算这些选定记录所消耗的空间。
我能想到的一种方法是为这1200万条旧记录创建一个新表，然后计算它的段大小。
请建议我们是否仍能以更好的方式计算所选记录的空间。谢谢。
浏览 10提问于2016-09-01得票数 0
回答已采纳
1回答
我有两个问题。一种是通过FEEDS或SERVCES模块将数据从COUCHDB同步到drupal。可能是信号。我在想我可以做一个restful GET，它从couchDB返回JSON。但我对如何只选择脏记录进行同步感到困惑。是否有时间戳或连续索引号？用例是...我想将这些应用程序提供给与设备交互的用户，并记录活动。这次同步又回到云端了。另一种方法是直接从移动设备向DRUPAL发送数据，但drupal可能会卡住……因此，我更喜欢直接使用CouchDB系统。
我的第二个问题正好相反。我想把每天变化的数据发布到移动设备上。在DRUPAL中将数据格式化为目录...我会将DRUPAL数据推送到长椅系统，并
浏览 1提问于2013-05-25得票数 0
1回答
是否有方法将具有相同结构的2个OLAP多维数据集绑定到一个？现在，我有过去10年的大数据集(每个立方体有20-50百万条记录)，每天都在处理。为了达到优化的目的，我想把它分开。对于实例，过去8年的数据将被处理一次，新的数据将每天进行处理。对于它，它需要两个立方体，但我能合并它的结果吗？
编辑。我在博客和论坛上读到关于数据分区的文章，但是它到底是如何工作的呢？我是否能够只处理新的数据，从而不需要处理所有的30+ mil行？
浏览 2提问于2021-06-10得票数 0
回答已采纳
2回答
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
1回答
如何计算/处理大量数据？
、、、
我在MySQL中有一个表，它有大约5000万条记录--(持续增长)，它是关于订阅消耗的。
因此，每天我必须选择这些记录并对其进行计算，以便针对不同类型的消费/客户端，例如，如果一个客户端处于活动/非活动状态，活动了多长时间，如果它更改了产品，等等。
目前，我有不同的查询来选择不同的业务用例，然后将数据加载到暂存区域和数据仓库。尽管，有些查询非常低，而且它们重载了生产环境。
我想知道这类日常任务是否有已知的解决方案或技术。
我愿意继续使用MySQl或尝试一种新的大数据技术。例如，每天选择数百万条原始记录到一个集散区/ODS，然后使用一些技术对它们进行处理。
有人知道这类任务的好解决方案吗？
谢谢
浏览 4提问于2016-10-31得票数 0
1回答
我有一个web应用程序，使用的是MySQL数据库，大约有12列，数百万条记录用一个字符编码。可以通过添加WHERE子句来查询横截面：
SELECT col1, COUNT(col1) AS num FROM my_table WHERE col2='U' GROUP BY col1
每个页面执行大约12个这种类型的查询，每列减去WHERE子句中指定的查询。
我确实有一个缓存系统，但数据每天更新(添加数十万条记录)，最初生成缓存的过程非常慢。我仍然在试图理解NoSQL的概念，似乎有一堆不同的范例。因此，假设每个记录都遵循相同的格式，并且没有JOIN，那么转换到NoSQL数据库是否
浏览 0提问于2012-10-25得票数 1
12回答
我开发的软件将大量数据存储在其中一个数据库表(SQL Server版本8、9或10)中。假设每天大约有100,000条记录插入到该表中。这大约是每年3600万条记录。为了避免损失性能，我决定每天创建一个新表(名称中包含当前日期的表)，以减少每个表的记录数。
你能告诉我，这是不是一个好主意？SQL server表是否有记录限制？或者，您是否知道在性能显著降低之前，一个表中可以存储多少条记录(或多或少)？
浏览 1提问于2009-04-17得票数 81
回答已采纳
1回答
我们有1500+本地服务器，在这里我们使用PostgreSQL DB存储一些销售事务数据。每台本地服务器每天都会添加关于200+记录的内容，因此大约有300.000条每日记录(从上午8点到晚上10点)。
我们需要存储每笔交易至少18个月，这意味着数据可以达到167.000.000条记录。
现在，我们有一个分析这些事务的请求，我们正在考虑开发一个集中的解决方案，这样我们就可以对它执行一些BI。
做这件事最好的方法是什么？
在每个本地服务器中，我都会创建一个新表，它只保存对新创建的事务ID的引用。我将使用这个额外的表来查找每次都需要同步的最新事务。完成同步后，我将删除引用，等待新引用的出现。
然后
浏览 1提问于2022-09-01得票数 0
2回答
如何存储用户日志
、、、
最近，我们的系统每天需要存储数百万条记录。每条记录都非常简单，用户is和点击的网页地址。之后，我们在数据日志上使用一些机器学习算法。我们尝试了neo4j，但查询时间非常慢。例如:获取所有配对的userid视图相同的weburl。那么有什么建议吗？
浏览 1提问于2013-12-27得票数 0
我们已经在Azure SQL数据库上建立了一个Azure搜索索引，其中包含大约270万条记录，所有记录都包含在一个捕获表中。每天晚上，我们的数据抓取器都会抓取最新的数据，截断捕获表，然后重写所有最新的数据-其中大部分将是刚刚截断的数据的副本，但有少量的新数据。我们没有任何可行的方法来每天只写入新记录，因为每条记录的几个字段中都有大量的非结构化数据。
在这种情况下，我们应该如何最好地管理索引？按计划运行索引器需要您指明此“高水位线列”。由于我们的数据库的性质(每天擦除/替换一次)，我们没有任何适用于这里的列。此外，我们的Azure搜索索引真正需要做的是，它还需要经历一次完整的每日擦除/替换，或者
浏览 0提问于2017-04-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
