岑玉海-腾讯云开发者社区

开发者社区

文档建议反馈控制台

腾讯云架构师技术同盟

文章/答案/技术大牛

发布

岑玉海

专栏成员

105

文章

141265

阅读量

56

订阅数

F3D模式规则详解

第一队 20% to 奖金池, 56%分给所有人, 30% 持有p3d的人第二队 35% to 奖金池, 43%分给所有人, 8% 持有p3d的人第三队 20% to 奖金池, 30%分给所有人, 6% 持有p3d的人第四队 35% to 奖金池, 43%分给所有人, 0% 持有p3d的人

2018-09-14

1.1K0

RChain的跨分片交易算法

跨分片交易是一个难题，但是遗憾的是业界已经有一个项目RChain解决了这个问题。分片方式有很多种，最难的是状态分片，什么是状态分片呢？把以太坊比作银行的话，状态指的是银行账户的当前余额。那状态分片就是，按照账户的不同区分开来，就像6222开头的是工商银行，6214开头的招商银行的账户。在以太坊的第一期的分片计划当中是没有跨分片交易的，交易只能存在于同一个分片的账户之间，也就是不能跨行转账。那如何实现跨行转账呢？ 1、架构分区是一个树形结构依赖关系是子分片依赖父分片子分片的validators可以

2018-07-05

1K0

Kettle 添加对应hadoop版本的支持

　　在hdp的官网上有一个ETL工具叫做Talend Open Studio，然后我就下了，并且在群里询问了一下，突然间冒出来一群ETL高手，经高人指点认识了一款叫做Kettle的软件，经过这两天的试用，从直观感受上，Kettle更容易使用和上手，资料更多，界面更友好。。。优点很多，这里不一一列举了，关键是它对hadoop的支持我觉得是很全面的。　　但是这里面有一个问题出现了，它不支持我现在用的版本，我用的是Hortonworks的HDP1.3，好吧，经过不懈的努力，终于被我搜索到了，哈哈，原来它可以支

2018-03-01

2.2K0

Hive Tuning(五) 标准调优清单

Hive的标准调优清单，我们可以对照着来做我们的查询优化！

2018-03-01

8120

hbase源码系列（十二）Get、Scan在服务端是如何处理？

继上一篇讲了Put和Delete之后，这一篇我们讲Get和Scan, 因为我发现这两个操作几乎是一样的过程，就像之前的Put和Delete一样，上一篇我本来只打算写Put的，结果发现Delete也可以走这个过程，所以就一起写了。 Get 我们打开HRegionServer找到get方法。Get的方法处理分两种，设置了ClosestRowBefore和没有设置的，一般来讲，我们都是知道了明确的rowkey，不太会设置这个参数，它默认是false的。 if (get.hasClosestRowBefore()

2018-03-01

2.1K0

hbase源码系列（十一）Put、Delete在服务端是如何处理？

在讲完之后HFile和HLog之后，今天我想分享是Put在Region Server经历些了什么？相信前面看了《HTable探秘》的朋友都会有印象，没看过的建议回去先看看，Put是通过MultiServerCallable来提交的多个Put，好，我们就先去这个类吧，在call方法里面，我们找到了这句。 responseProto = getStub().multi(controller, requestProto); 它调用了Region Server的multi方法。好，我们立即杀到HRegionServ

2018-03-01

1.9K0

hbase源码系列（五）Trie单词查找树

　　在上一章中提到了编码压缩，讲了一个简单的DataBlockEncoding.PREFIX算法，它用的是前序编码压缩的算法，它搜索到时候，是全扫描的方式搜索的，如此一来，搜索效率实在是不敢恭维，所以

2018-03-01

1.1K0

hbase源码系列（三）Client如何找到正确的Region Server

　　客户端在进行put、delete、get等操作的时候，它都需要数据到底存在哪个Region Server上面，这个定位的操作是通过HConnection.locateRegion方法来完成的。 loc = hConnection.locateRegion(this.tableName, row.getRow()); 　　这里我们首先要讲hbase的两张元数据表-ROOT-和.META.表，它们一个保存着region的分部信息，一个保存着region的详细信息。在《hbase实战》这本书里面详细写了查找过

2018-03-01

1.8K0

hbase源码系列（二）HTable 探秘

　　hbase的源码终于搞一个段落了，在接下来的一个月，着重于把看过的源码提炼一下，对一些有意思的主题进行分享一下。继上一篇讲了负载均衡之后，这一篇我们从client开始讲吧，从client到master再到region server，按照这个顺序来开展，网友也可以对自己感兴趣的部分给我留言或者直接联系我的QQ。　　现在我们讲一下HTable吧，为什么讲HTable，因为这是我们最常见的一个类，这是我们对hbase中数据的操作的入口。 1.Put操作　　下面是一个很简单往hbase插入一条记录的例子。

2018-03-01

2.1K0

RavenDb学习（八）高级特性上半部分

1、事务支持别的关系型数据库和RavenDb一起使用 using (var transaction = new TransactionScope()) { BlogPost entity = session.Load<BlogPost>("blogs/1"); entity.Title = "Some new title"; session.SaveChanges(); // will create HTTP request session.Delete(en

2018-03-01

7060

RavenDb学习（三）静态索引

在静态索引这块，RavenDb其实的是lucene，所以里面有很多概念，其实都是lucene本身的。 1.定义静态Indexes documentStore.DatabaseCommands.PutIndex( "BlogPosts/PostsCountByTag", new IndexDefinitionBuilder<BlogPost, BlogTagPostsCount> { // The Map function: for each tag of each

2018-03-01

8560

hbase 学习（十四）Facebook针对hbase的优化方案分析

使用hbase的目的是为了海量数据的随机读写，但是在实际使用中却发现针对随机读的优化和gc是一个很大的问题，而且hbase的数据是存储在Hdfs，而Hdfs是面向流失数据访问进行设计的，就难免带来效率的下降。下面介绍一下Facebook Message系统在HBase online storage场景下的一个案例（《Apache Hadoop Goes Realtime at Facebook》, SIGMOD 2011），最近他们在存储领域顶级会议FAST2014上发表了一篇论文《Analysis of

2018-03-01

1.2K0

RavenDb学习（九）高级特性下半部分

1.聚合缓存 RavenDb默认是缓存所有的请求url的，最大的缓存请求数默认是2048 documentStore.Conventions.ShouldCacheRequest = url => true; documentStore.MaxNumberOfCachedRequests = 2048; 如果开启这个选项，RavenDb直接从缓存当中读取数据，而不是从服务端。 //关闭跟踪 documentStore.Conventions.ShouldAggressiveCacheTrackChan

2018-03-01

7980

RavenDb学习（二）简单的增删查改

在上一节当中已经介绍了RavenDb的文档设计模式，这一节我们要具体讲一讲如何使用api去访问RavenDb 1.连接RavenDb var documentStore = new DocumentStore { Url = "http://myravendb.mydomain.com/" }; documentStore.Initialize(); var documentStore = new DocumentStore { ConnectionStringName = "MyRav

2018-03-01

1.2K0

RavenDb学习（四）处理文档相关性

RavenDb是文档型数据库，但是我们常常也需要定义对象之间的关系，那RavenDb当中是如何处理的呢？ RavenDb提供了优雅的解决方式，使用正确的话，可以减少数据开销以及网络拥堵 Denormalization 第一种就是反规范化，下面是一个订单的JSON格式在Order这个订单当中我们把我们需要的客户信息（名字）也保存下来了，使用的时候，它直接就读出来了。 { // Order document with id: orders/1234 "Customer": { "Name":

2018-03-01

6540

hbase源码系列（四）数据模型-表定义和列族定义的具体含义

hbase 数据库缓存

　hbase是一个KeyValue型的数据库，在《hbase实战》描述它的逻辑模型【行键，列族，列限定符，时间版本】，物理模型是基于列族的。但实际情况是啥？还是上点代码吧。　　　　 HTableDescriptor tableDesc = new HTableDescriptor("test"); //日志flush的时候是同步写，还是异步写 tableDesc.setDurability(Durability.SYNC_WAL); //MemStore大

2018-03-01

1.1K0

sqoop 从sqlserver2008 导入数据到hadoop

sql server hadoop

　　今天终于开始上手导入数据到hadoop了，哈哈，过程蛮崎岖的，和官方文档的还不太一样。　　OK,let's go！试验对象是我第一个名为ST_Statistics的一张表，我要把我表里的数据导入到hdfs、hive以及hbase当中，然后试验才算完成。　　1.导入数据到hdfs 　　sqoop import --connect 'jdbc:sqlserver://192.168.1.105:1433;username=sa;password=cenyuhai;database=SAMS' \

2018-03-01

1.6K0

RavenDb学习（五）结果转换

1）Result Transformers public class Order { public DateTime OrderedAt { get; set; } public Status Status { get; set; } public string CustomerId { get; set; } public IList<OrderLine> Lines { get; set; } } //单独使用 public class OrderStat

2018-03-01

5920

RavenDb学习（七) 异步工作以及维度查询

1、异步执行 var entity = new Company {Name = "Async Company #2", Id = "companies/2"}; using (var session = documentStore.OpenAsyncSession()) { var company = await session.LoadAsync<Company>(1); // loading an entity asynchronously await session.StoreA

2018-03-01

8300

Distribute Cached 使用

　　在Kettle中说到Pentaho的MapReduce要用到它，就查了一下关于它的资料，以下是从官方查到的内容，记录一下。　　DistributedCache: 一些比较小的需要共享的文件或者jar包，我们先存到hdfs上，然后在MapReduce线程当中进行共享，直接用了。　　 // Setting up the cache for the application 1. Copy the requisite files to the FileSystem:

2018-03-01

7340

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态