现在，我希望将处理后的数据存储到HBASE中，并且我不想创建单独的HBASE HDInsight集群并使用VNET连接到Spark集群。我不确
浏览 3提问于2017-04-18得票数 2
我正在使用带有puts的context.write()从映射器写入HBase。根据这个，context.write()不会立即刷新，而是等待缓冲区填满，然后才将它们异步设置到服务器。目的是通过调整缓冲区大小来减少对HBase表的RPC调用。
浏览 6提问于2015-08-07得票数 0
我在hbase中有一个很大的项目数据集，我想要加载到spark rdd中进行处理。我的理解是，hbase针对hadoop上的低延迟单项目搜索进行了优化，所以我想知道是否有可能在hbase中高效地查询1亿个项目(大约10TB大小)？
浏览 1提问于2017-10-25得票数 0
我试过使用Hbase，第1点和第3点都满足了。但是我发现在HBase上进行分析(加载/保存/聚合)非常慢，比使用Parquet慢10倍。我不明白为什么Parquet和Hbase都是柱状DBs，而且我们已经很好地分散了HBase集群中的工作负载(“每个区域的请求”这么说)。
有什么建议吗？我是不是用错工具做这份工作了？
浏览 0提问于2018-07-16得票数 1
回答已采纳
1回答
当文件作为记录从linux机器上传到Hbase表时，我们观察到数据大小的减少(文件系统上为10 GB，Hbase表中为6-8 GB )。在hbase表上没有使用压缩方法，主要压缩也被禁用。
浏览 47提问于2021-06-23得票数 0
为了给出一个规模概念，我从HBase中读取了大约61.5万个(约4GB的文本数据)小文档，并运行了带有8核和6GB执行器内存的spark程序。我已经尝试过增加并行级别和洗牌内存分数，但没有效果。
浏览 1提问于2014-09-18得票数 4
回答已采纳
我正在调试Linux内核。在使用gdb调试它时，我发现一些值被优化了。如下图所示。len、标志和add_len参数都经过优化处理。
浏览 4提问于2017-04-11得票数 4
1回答
我使用HBase来存储一些流数据，我有从一个插入到另一个插入的值，并且使用现有的值。我有一个这样创建的表： hbase(main):005:0> create ‘mytable’,’mycolfam’ 该表将包含一个名为val的字段 首先，按原样插入数据(key=1、val=10)：hbase(main):005:0> put 'mytable','1','mycolfam:val',10 然后，我有了相同键'1‘的传入数据(key=1，val=12)，并且<
浏览 13提问于2019-04-02得票数 2
回答已采纳
1回答
哪台机器执行org.apache.hadoop.hbase.filter.Filter？因为过滤器是不能串行化的
浏览 0提问于2018-05-10得票数 3
回答已采纳
Amazon 声明，TensorFlow 2.3、Python3.7GPU优化后的内核在使用sagemaker笔记本实例时应该可用。但是当我使用ml.p2.xlarge (美国-西部-2) 时，我看不到TensorFlow 2.3Python3.7GPU优化内核
我是否需要启用一些特定的
浏览 1提问于2021-06-21得票数 0
2回答
有人能建议让HBase作为基于web的应用程序的主要数据源是否是个好主意吗？我主要关心的是HBase对查询的响应时间。有可能有亚秒级的反应吗？
该应用程序将用于显示存储在HBase中的数据，例如在过去的24小时中关键字"X“发生了多少次。对于该应用程序80%的请求，我将知道确切的键，20%的请求是扫描(我正在研究与HBase模式设计相关的主题，以使其运行得更快)
浏览 0提问于2012-10-28得票数 3
我在hbase中有十亿行，我想一次扫描百万行。什么是最好的优化技术，我可以做，使这个扫描尽可能快。
浏览 4提问于2011-12-08得票数 3
回答已采纳
1回答
然后，CSV文件将数据导出到MySQL和HBase数据库。我有大约2亿条记录(1TB)，因此我需要优化每个处理步骤。我应该使用什么数据类型来存储Python、CSV、MySQL和HBase数据库中的TimeStamp值？我需要存储TimeStamp值的所有方面。我的模式在CSV文件、MySQL和HBase数据库表中有4列。
谢谢!
浏览 0提问于2015-03-10得票数 1
正如在中也提到的，主要有两个选项：
我对一个接一个的记录不感兴趣，而是对高吞吐量感兴趣。在深入研究代码之后，似乎两者都求助于TableOutputFormat、DataFrame库是否为大容量加载提供了与RDD库相比的性能改进
浏览 2提问于2017-11-08得票数 1
1回答
我要设置kgdb来调试Ubuntu debian内核。有没有办法禁用内核编译优化(例如，-O0)？(gdb) p pb
$5 = <optimized out>
浏览 14提问于2017-02-01得票数 0
回答已采纳
3回答
我的数据不需要实时加载，所以我不需要使用HBASE，但我想知道在MR Jobs中使用HBASE是否有任何性能优势，由于索引数据，连接不是应该更快吗？
有人有什么基准吗？
浏览 1提问于2012-07-29得票数 2
回答已采纳
我们面对的是HBase区域的热点。所有写操作都被重定向到一个区域服务器，因此某些映射需要花费大量时间。我想手动拆分区域使用HBase外壳，但可以找到任何示例。拆分地域服务器最好的优化方式是什么？
浏览 0提问于2016-03-16得票数 1
1回答
我最近正在学习基于hbase的apache phoenix。我在凤凰城创建表格。在这里，我发现phoenix并没有创建多个柱族，而是使用名称为'0‘的单个柱族。这是否会影响hbase的性能？
浏览 2提问于2016-04-22得票数 0
1回答
我在Hbase中有一个表，比方说"tbl“，我想使用Hive查询它。'TBLPROPERTIES("hbase.table.name" = "tbl当我查看作业跟踪器上的hive生成的映射作业时，我发现"map.input.records“对Hbase表中的所有项进行了计数，这意味着作业在启动任何映射
浏览 1提问于2015-05-06得票数 9
我正在浏览许多关于hbase连接池的示例和博客。我尝试使用Htablepool，编译器会显示其折旧(使用cloudera cdh 5.4.0，Hbase version - 1.0.0-cdh5.4.0)
另外，Htable类不是线程安全的，所以我没有直接实例化我可以得到一个完整的优化和最好的方式来做连接池与替代HTablePool的表池
浏览 1提问于2016-03-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
