腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何从“大
数据
”转到网页?
、
、
、
我花了很多时间阅读和观看人们谈论如何在他们的
架构
中使用为处理
海量
数据
集和实时处理而设计的工具的视频。虽然我知道Hadoop/Cassandra/Kafka等工具是做什么的,但似乎没有人解释
数据
是如何从这些大型处理工具中获得的,以便在客户端/网页上呈现一些东西。根据我对大
数据
工具的理解,你不能用标准的web应用查询
MySQL
的方式来构建你的应用程序,考虑到流经这些工具的
数据
的大小,我可以理解这一点,然而,对于所有这些“实时
数据</em
浏览 0
提问于2017-09-07
得票数 0
1
回答
FullText
mysql
搜索和neo4j搜索
、
、
我在我的项目中使用了两种
数据
库,
mysql
和neo4j。
mysql
中的内容,neo4j中的关系。2、
mysql
全文搜索的性能如何?与neo4j相比?
浏览 3
提问于2013-11-16
得票数 0
1
回答
具有大
数据
集的机器学习-Issues
、
、
、
、
我正在尝试将机器学习应用于Kaggle.com
数据
集。我的
数据
集的维度是244768 x 34756。现在,在这种规模下,所有的scikit算法都不起作用。我想我会应用PCA,但即使这样也不能扩展到这个
数据
集。我可以通过这种方法来应用PCA
浏览 0
提问于2015-04-03
得票数 1
3
回答
跨服务器移动
mysql
文件
、
我有一个庞大的
MySQL
数据
库(大约10 GB),我需要将它复制到另一台服务器(slicehost)。我不想做一个
数据
库转储和重新导入b/c,我认为这将永远花费时间。是否可以将原始SQL文件从一台计算机移动到另一台计算机,设置相同的
mysql
服务器,然后翻转开关?
浏览 0
提问于2010-05-19
得票数 2
回答已采纳
4
回答
可伸缩站点
、
facebook,skype,myspace等等它们都有数以百万计的用户,有人知道它们的
架构
是什么样子的吗?它是分布在不同的节点上还是使用
海量
集群?
浏览 1
提问于2009-06-15
得票数 2
2
回答
mysql
海量
插入
数据
原版: 我使用下面的批处理将1,000万行插入到
mysql
db中(并不是一次性的,因为它们并不都适合内存),它太慢了(花费了很多时间)。我应该使用load文件来提高性能吗?
浏览 0
提问于2011-01-31
得票数 1
回答已采纳
2
回答
如何处理巨大的表单
、
、
我有一个问题,你是如何用php和
mysql
处理来自表单的
海量
数据
的?我有接下来的:大约50个字段(输入文本,checkboxex,select,textarea) 之后,我需要将此
数据
保存到
MySQL
数据
库中,并需要选择和过滤此
数据
。你有实践吗?
浏览 0
提问于2012-07-30
得票数 6
回答已采纳
1
回答
MySQL
/
海量
数据
插入
、
、
我们正在使用
MySQL
5.5 InnoDB引擎来管理我们的
数据
库,其中一个表具有相同的SELECT/INSERT操作,其中之一将是每天有1亿到1.5亿个插入操作。我已经读过关于
MySQL
分区的文章,并计划实现,但在实现之前,我很想考虑一下。那么,在不影响用户响应时间的情况下,应对此类挑战的最佳方法是什么呢?
浏览 0
提问于2013-10-09
得票数 1
回答已采纳
3
回答
将
海量
数据
索引到Elasticsearch中
我是elasticsearch的新手,并且拥有巨大的
数据
(
mysql
表中超过16k的大行)。我需要将此
数据
推送到elasticsearch中,但在将其编入索引时遇到问题。有没有办法让索引
数据
更快?如何处理
海量
数据
?
浏览 1
提问于2012-05-21
得票数 6
1
回答
类似于SQL表的循环调度,用于跟踪最近的活动
每晚cronjob汇总每个用户的统计
数据
听起来并不合理。我知道过去我曾用RRD表这样跟踪网络使用情况,但这些只是BerkeleyDB的,而且每个统计
数据
必须有一个文件,这是行不通的,但这个想法似乎是我想要的。有没有我忽略的模式/最佳实践?
浏览 1
提问于2011-12-31
得票数 2
回答已采纳
1
回答
Hadoop到底是干什么用的,主要的应用场景和应用领域是什么?
Hadoop到底是干什么用的,主要的应用场景和应用领域是什么,主要解决的核心问题又是什么,我们个人可以用它来干什么 产生价值呢?
浏览 910
提问于2020-09-24
1
回答
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行?若有,原因为何?
、
、
Spark是用于计算
海量
数据
的分布式
数据
处理引擎。假设我在
mysql
中存储了大量
数据
,我想对这些
数据
进行处理。Spark从
mysql
读取
数据
,并在集群节点本身上执行内存(或磁盘)计算。
浏览 3
提问于2021-03-25
得票数 0
2
回答
支持全文搜索的
海量
数据
库- Sphinx、Lucene、Cassandra、MongoDB、CouchDB
、
、
、
、
我们公司正在进行一个项目,该项目需要一个包含30-5000万行产品
数据
的
数据
库。这些行包含每秒需要同时搜索数千次的文本。此外,每次搜索需要不到一秒的时间来执行。所以,总而言之,我们有一个50M的行
数据
库,每秒需要搜索数千次。请记住,这些都是全文搜索。我知道
MySQL
或任何关系
数据
库单独不能处理这种类型的工作。
浏览 0
提问于2010-08-15
得票数 8
2
回答
MySQL
海量
数据
操作处理
、
、
、
我在处理
数据
库中的大
数据
时遇到了以下问题: 基本上,每一秒来自数字传感器的所有测量
数据
都存储在
数据
库中。报告应该从所有
数据
中仅显示发生的更改,例如在时间X时,寄存器#1的值从0更改为1。我已经创建了一个过程,它可以只返回我需要的
数据
(更改),这节省了我在php中的大量处理,但最大的问题是,对于4天的当前
数据
,查询需要6*N秒才能完成,其中N是所选寄存器的数量。另一个想法是在每次插入
数据
计量时触发一个触发器,但问题是这将更加复杂,因为我将需要查看以前在另
浏览 1
提问于2012-09-14
得票数 1
回答已采纳
1
回答
是否有一个可以推送大量
数据
的框架?
我们的
MySQL
和Hadoop平台部署在不同的网络中,Hadoop不能访问
MySQL
,但是
MySQL
可以连接到Hadoop。那么,是否有一个工具可以像Sqoop获取
数据
那样将大量
数据
从RDS推送到HDFS?或者有没有其他方法可以解决这个问题? 任何帮助都是非常感谢的。但是对于
海量
的RDS
数据
,如何实现这一点呢?
浏览 1
提问于2019-02-20
得票数 0
3
回答
海量
MySQL
数据
库
、
、
我正在制作一个网站,它需要一个绝对庞大的
mysql
数据
库,在一个表中可能有数百万甚至数十亿行。如何针对查询进行优化?我希望一次只能提取一行,但要尽可能快。
浏览 0
提问于2011-03-27
得票数 0
回答已采纳
1
回答
MySQL
:高效存储
海量
数据
我正在构建一个ETL管道,它将来自多个基于文本的源的
数据
集中到一个Neo4j图形
数据
库中。
MySQL
被用作管道中的“临时”存储。原始文件( CSV、TSV或XML)被加载到
MySQL
中。该
数据
用于更新“实体”的主存储,之后不再需要该
数据
。 虽然不再需要
MySQL
临时
数据
,但我希望将其保留在某个地方,以防有一天我需要参考它。做这件事最好的方法是什么?也许我需要运行多个
MySQL
服务器?尽管这会在实例之间移动
数据
时引入性
浏览 14
提问于2021-08-20
得票数 0
4
回答
用
MySql
实现
海量
数据
、
、
、
、
实际上,我和5个传感器一起工作,每个传感器以不同的频率发送大量
数据
,我使用的是
MySQL
DATABASE。( 1)
MySQL
是理想解吗?2)如果没有,是否有办法将这么多的
数据
存储在
数据
库中? 3)我在
数据
库中使用Threads,我也在使用mutexs。 我希望我能对这个问题有一个答案。
浏览 1
提问于2017-03-29
得票数 0
回答已采纳
3
回答
海量
对象过期策略
架构
、
假设我的
数据
库中有一个包含几百万个对象的表。每个对象都有dateCreated属性。默认情况下,所有对象都应在创建后48小时内过期。 检查对象何时过期的最佳策略是什么。
浏览 2
提问于2011-07-31
得票数 2
回答已采纳
2
回答
phpMyAdmin:"URI太大“
、
、
、
、
还有其他方法来导出我的
架构
吗? 我可以改用POST而不是GET吗?
浏览 2
提问于2016-01-20
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
【mysql】mysql系统架构
理解MySQL架构
【MySQL】逻辑架构
Mysql基础:Mysql架构与事务
从海量数据处理到大数据架构设计思想之-分而治之
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券